현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,760
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
오늘 저녁!!! [2]
7월 되면 [2]
퇴근ㅎㅎㅎㅎ [1]
뉴진스 복귀하면 어떤 노래 들고올지 궁금하네 [2]
배 터질거 같다 [0]
맥주 사러 가야겠다 [2]
냉면 먹을까 했는데 [1]
ㄷㄷㄷㄷㄷ오늘 처음 앉았다 [2]
오늘의 일식은 소바 [3]
요즘 유투브 보는 재미가있네 [0]
BBC "일본이 브라질 2:1로 승리할것" ㄷㄷ [2]
시간이 잘가서 [1]
막창 당면볶음~ [2]
엄마에게 1500만원을 송금한 결과 [1]
한국축구의 문제점 [0]
드디어 퇴근!!! [2]
집 도착하자마자 에어컨 켬ㅎㅎ [2]
진짜 개피곤하다 [2]
진짜 박지성 같은 선수 하나 안 나오냐 [1]
오늘 저녁은 김치찌개 [3]
