현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,762
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
확실히 [0]
짬뽕탕 끓였어요 [2]
굳이 채프먼 연투를 시켰어야했나?? [4]
캐나다 겨우 이겼네? [3]
일본전술이 어쩌고 기술적으로 어쩌고 저쩌고 내일보면 답좀 나옴 [3]
홍명보 자체가 토너먼트에서 보여준게 없는 감독임 [3]
이번 브라질 vs 일본 결과 어떨 거 같음? [3]
제시마치 2030년까지 계약이라는데 [3]
제시마치 우리나라 감독이 될 수도 있었는데 [3]
홍현석 [3]
모기잡앗는데 [0]
32강 시작하는데 [0]
32강 [0]
남아공 이겼으면 내일 새벽 한 경기라도 더 봤음 [4]
에바에 타라, 신지... [3]
홍명보 대표팀 감독, 32강 진출 실패 책임지고 사퇴 [0]
애플이 욕쳐먹는 이유 [0]
돈 쓸어담기 시작한 보지냐 ㄷㄷㄷㄷ [3]
의외로 직장인이 현타 온다는 것 [0]
건물 청소부가 잡아준 집나간 고양이 [0]
