현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,766
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
맹보 귀국때 선수8명만 같이오는 이유 ㄷㄷㄷ [1]
오늘의 운세, 2026년 6월 29일 월요일 [0]
오늘만 딱 맥주 마신다 [1]
커피 사러 나가는 사람? [2]
이 시간만 되면 허리 아픔 [2]
아무리 생각해도 아시안컵까진 명보로 가는 게 맞지 않나 [4]
저녁에 떡볶이 튀김 갈까 [3]
오늘 왜 이렇게 조용하짘ㅋㅋㅋㅋㅋ [2]
님 누구세요? [3]
회사 에어컨 너무 셈 [3]
해장국 [2]
엔씨 투자한다는 건 좋은데 돈 이상한데 쓰지 말고 [3]
심심하네 [0]
다이어트 한다고 삶계랑 두유 먹는중 [4]
차기 국대 주장 누구냐 [2]
퇴근 마렵다 진짜 [3]
6월의 마지막 월요일 [2]
오늘의 안주 [3]
오후 [0]
확실히 [0]
