현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,973
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
한국팀 8강은 가보자 [1]
원피스 안본지 거진 10년가까이 되가는데 [0]
지투 폼이 [2]
1세트 벌써 터진 것 같아 [0]
오늘 새벽 축구 보면서 소주 한 병 [1]
루시드 솔리드한데 [0]
딮기랑 티원 붙으면 누가 이길까 [1]
26년도 두번째 천만영화 [2]
오늘 염경엽 9회말에 대타 안 낸 건 대체 무슨 선택임? [3]
자 이제 해야겠지? 경배하라..... 무패신화를.... [1]
삼성 승차 더 벌렸네 [3]
레넥인데 자헨 박는 병신짓을 어느 팀이하ㄴ냨ㅋㅋㅋㅋ [3]
에어컨 28도로 해놨는데 존나 춥네 [4]
원피스 앵무새 떡밥이 진짜면 이세끼들 미친놈들이네 [3]
9시반이네.. [1]
딮기 선수단 연봉이 30억이나 된다고? [2]
딮기 마지막 경기 곧 시작ㅎㅎ [0]
하 개시원하다 [2]
삼성 오늘 8이닝 동안 삼자범퇴로 끝낸 이닝이 하나도 없엌ㅋㅋㅋㅋ [1]
내일 출근이네 [3]
