현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,978
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
시간 진짜 순삭이네 [3]
부산버스 [2]
딮기 우승 굿즈 티셔츠 디자인 이거인듯 [3]
처키? [0]
AV 관계자는 이 분 스카웃 안하고 뭐하냐2 image [0]
수요일 퇴근ㅅㅅ [3]
그시절 [1]
ㅋㅋ진짠가? [1]
턱주가리 [0]
돌솥비빔밥 [3]
메시 은퇴하면 이제 누굴 빨아야되냐 [3]
아니 이거 사진인줄 알았는데 피규어였음 [4]
벌써 3시 넘었어 [1]
현타옴 [0]
수치스러웠던 오답 [0]
잠시후 국적 이동이 있을 예정입니다 [4]
친구가 학교에 안 온 이유 [0]
우연히 취향저격 노래 들었을 때 특징 [3]
오늘의 날씨 [0]
올해 릅신 플옵스탯 낙폭이 심상치않긴함 [4]
