현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,646
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
벌써 11시 [2]
헬스장 가는 길 [1]
ㅋㅋㅋㅋ [0]
2010년대 epl의 킹이 누구임? [3]
운동끝 [0]
집밥이 최고!! [2]
퇴근 드디어 간다!! [2]
할매가 나보고 카피바라래 [3]
이 시간에도 밖에서 시끄럽게 노는 애들은 참 [0]
어우 개피곤 [0]
팔에 모기 한마리 붙어있네 [2]
ㅈ두 월드컵 우승하겠네 [2]
1시간뒤 퇴근이구만 [1]
포토샵 진짜 어렵다 [1]
스페인 VS 포르투갈 16강이 기대되는 이유 [1]
심심하다 [2]
배고파 [2]
에어컨 + 제습기 [1]
집가서 뭐먹지 [1]
앞으로 한국 축구가 잘하면 [0]
