KV 캐시 저비트 양자화의 기술적 핵심

터보퀀트는 정보이론 기반(엔트로피)과 양자화 기법을 결합해 KV 캐시를 32비트에서 3비트 수준으로 표현하면서도 LLM 응답 품질을 유지한 사례를 제시한다. 핵심은 사전 표준화(transform/normalize)·분포 적응형 코딩·손실허용 설계로, 복원 필요성보다 응답 성능을 보존하는 정밀도만 보존한다는 점이다.

출처

• [[260326_ranto28_구글이_발표한_터보퀀트가_뭔데_시장을_흔드나_162f30]] (원본 노트)