현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,764
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
오늘은 담타도 못나갔네 [3]
메시 내일 2골 2어시 박을거 같은데 [2]
5시다 [0]
이번 월드컵 역대급 흥행 맞는거임? [2]
지투 1셋따나 [1]
곧 5시 [2]
한스사마 저새키 머해 [1]
담타 가자 [2]
돈가스 먹을까나 [2]
지금까지 월드컵 경기중에 제일 재밌던 경기 뭐였음 [3]
롤 요즘 재미가 안붙네 [1]
어디부터 아줌마예요? image [0]
모드리치 월드컵 한 번 더 안될까 [1]
저녁 메뉴 추천 좀 [0]
??? : 케인형 이렇게 찌르는거 맞지? [2]
포르투갈 아르헨 결승이면 2022 시청률 넘기냐 [2]
너무 덥네 미치겠다 ㅅㅂ [2]
여자애 프사 [0]
영어안쓰면 꽁짜 [1]
영앤리치 하고싶은데 [0]
