현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,923
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
바람 장난아니네 [2]
심심해서 gpt한테 홀란드 눈썹 그려달라고 했는데 [1]
퇴근까지 얼마 안남음 [1]
비 오려나 [1]
비많이 온다는데용 [0]
장마에요 ㅎㅎ [0]
오늘 점심에 먹은 오징어회 아직도 생각남ㅅㅅ [3]
오늘 왜 이렇게 빡세냐 [2]
장마 오면 [2]
음바페 은퇴쯤엔 좆두딸거같네 [3]
티원 믿어볼까 [2]
홍??: 나는 감정없는 싸이코라 그런가 [1]
4시다 [2]
수욜 퇴근 드디어 [2]
프랑스는 진짜 ㅈㄴ 이상하긴함 [0]
한시간반뒤에 [0]
지금 우승 1순위 그냥 프랑스임? [2]
진짜 퇴근 개마렵네 [2]
이것도 리센느 효과라고 볼수 있나 [0]
올리세 크팰시절은 어땠음? [4]
