현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,590
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
치즈버거 [4]
성수동에 생긴 눕는 이색 핫플 [4]
퇴근퇴근퇴근 [2]
월드컵에서 일본이 탈락했다는것을 알게된 경기장 청소부들 [0]
오늘 저녁은 치킨? [3]
롤보다 많이 웃네 [0]
가슴하트 토끼녀 ㄷㄷㄷ [3]
승민이형 1군 홈런 있음? [1]
KC 진짜 개못함 [1]
삼성 디아즈 정리하나 [2]
BMW X5 풀체인지 사전 유출 [4]
내일 월드컵 픽좀 [0]
저녁은역시 삼겹 [3]
이번 월드컵에서 굉장히 신출귀몰한 남자 [0]
6월 마지막 퇴근이다 [1]
홍명보 향한 한국인 분노 과해, 냉정 찾아라 [3]
1차는 닭발!!! [2]
날씨 진짜 미쳤어 [2]
1셋졌네 [0]
운동 다녀오겠습니다 [2]
