현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,596
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
그래도 92라인 아시안컵 들고 은퇴하길 바랬는데 [3]
솔직히 선수들 수준도 그말싫인것 같음. [2]
포르투갈은 움직임에서 콜롬비아에 개털리고 있네 [2]
진심 홍맹보 무슨 생각하고 있을지 궁금하다 [3]
가나는 일부러 지려는게 보이네 ㅋㅋ [3]
어떻게보면 잉글랜드가 똥뿌린거임 [2]
그냥 이제는 홍명보가 아시안컵 유임만 없길 [3]
차기 한국 국대 감독으로 랑닉 어떰? [4]
직접 만든 멀티탭 [2]
위조 신분증으로 받은 대출금 피해자가 갚아라 [2]
새 화보 찍은 연아킴 [3]
홍명보 한국오지말고 이런곳으로 가라 [2]
꾸준히 처맞는 소리 하는 중인 일본인들 [3]
런닝을 좀 햇더니 [0]
강회장인가머시가 [0]
새벽경기 [0]
AI가 한참 멀은 이유 [3]
정확한 게임명이 뭔지모르는 게임 [5]
흔한 입사동기랑 술마시는 [1]
대한민국이 날 버렸어.. [4]
