태그 보관용: quantization

양자화, 모델 크기와 VRAM의 관계

모델의 파라메터와 메모리 사용단위에 따른 필요 VRAM의 용량과 양자화에 대해 설명한다.