현재 난리났다는 로컬 Ai 양자화 모델성능 근황
대장여
전과없음
2014.05.26가입
조회 1,751
추천 15
2026.06.27 (토) 22:01
이번에 엔비디아에서 공식적으로 양자화 했는데 메모리 사용량을 대폭 줄이면서도 성능은 유지하게 만들어 소비자들도 쉽게 사용할 수 있도록 만듦 거의 원본수준의 성능이 나오는데 메모리 사용량은 대폭 줄어듦 집에 굴러다니는 B200 4장만 있으면 사용가능
이번에 엔비디아에서 공식적으로 양자화 했는데
메모리 사용량을 대폭 줄이면서도
성능은 유지하게 만들어
소비자들도 쉽게 사용할 수 있도록 만듦
거의 원본수준의 성능이 나오는데
메모리 사용량은 대폭 줄어듦
집에 굴러다니는
B200 4장만 있으면 사용가능
댓글 4
무이지요
2026.06.27 22:01:20
리올논
2026.06.27 22:01:26
홈극강첼시
2026.06.27 22:01:33
밝히는그대
2026.06.27 22:01:40
피곤하다 [3]
이거 무슨 뱀인지 아는사람 있음?? [3]
태국식 족발덮밥과 똠얌 쌀국수 [3]
오늘은 라면이나 먹어야겠다 [3]
여름만 되면 확실히 밥 생각이 덜 나는듯 [2]
프랑스는 가만히 있어도 [2]
5시넿ㅎㅎ [0]
내일 32강전은 프랑스 올인 하면 되겠다 [0]
시그널2 그냥 그대로 내보내네 [1]
오늘도 퇴근하고 운동 [1]
오늘 저녁 메뉴 확정!!!!! [3]
담타 가자 [3]
퇴근 좀 시켜주세요 [2]
돈따면 하고싶은건 개많은데 [0]
월드컵을알려주마!!!! [0]
홍명보 기자회견도 없이 끝내는거 실화냐 [1]
아직 5시간이나 남았네 [0]
32강부터는 진짜 볼 경기만 남은듯 [2]
벌써 4시 반? [1]
사무실에서 제일 많이 들리는 말ㅋㅋㅋㅋ [2]
