현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 2,321
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
밥먹고왓슴다 [0]
현재 난리났다는 로컬 Ai 양자화 모델성능 근황 [4]
[천문] 28일 MLB [0]
현재 아시안 메이저리거의 Fwar 근황 ㄷㄷㄷ [3]
[천문] 28일 FIFA 월드컵 [0]
어제 국대 회복훈련사진 보는데 이강인만 빡쳐있네 [4]
[천문] 27~28 네이션스 남배 [0]
악역이 없는 영화 뭐가 있을까요 [3]
할머니가 귀엽다며 보내준 사진 [2]
맛환기 [0]
안되는날 항상 보면 [0]
얘는 대체 왜 안씀? [3]
한놈은 울고 다른놈은 남탓하고 [2]
난 팀별 이동거리가 가장 충격이다 ㅋㅋ [2]
축협은 이사람들 위주로 새판짜야 그나마 가능성있어보임 [5]
한국축구 이제 진짜 시작임 [3]
축구 경우의 수 [0]
돌아가면 마빡이 위험하다는 탈북녀 [4]
홍명보 귀국 인터뷰 예상 시나리오 [3]
오늘의날씨 6월 27일 [0]
