[논문]What is multi-bit quantization?

다중 비트 양자화는 비트 분할 및 스티칭 프레임워크를 사용하여 구현할 수 있습니다.
이 프레임워크는 두 가지 주요 단계로 구성됩니다:

비트 분할과 비트 최적화

다음은 다중 비트 양자화를 위한 단계별 프로세스입니다:

• 비트 분할: 이 단계에서는 가중치 양자화의 M비트 제약 조건이 (M-1) 삼차 최적화 문제로 분할됩니다. 목표는 출력 특징 맵과 입력의 저비트 커널 매핑 간의 차이를 최소화하는 것입니다. 이 최적화에는 커널의 비트에 대한 제약 조건이 적용됩니다.

• 비트 최적화: 이 단계에서는 양자화된 값의 스케일 인자(a)와 M-1 비트(qm)를 최적화합니다. 척도 계수는 양자화된 값이 주어지면 쉽게 풀 수 있지만, qm의 최적화는 다른 M-2 비트를 고정하여 반복적으로 수행됩니다.

이 단계에 따라 비트 분할 및 스티칭 프레임워크는 재교육이나 미세 조정 없이도 정확한 멀티비트 양자화를 가능하게 합니다.