[PYTHON] 모델 경량화 QAT와 PTQ의 3가지 핵심 차이와 정확도 손실 해결 방법

PTQ vs QAT

[PYTHON] Quantization-Aware Training(QAT)과 Post-Training Quantization(PTQ)의 정확도 손실 분석

딥러닝 모델의 크기가 거대해짐에 따라 온디바이스(On-device) AI 및 엣지 컴퓨팅 환경에서의 효율적인 추론을 위한 양자화(Quantization) 기술은 이제 선택이 아닌 필수가 되었습니다. 32비트 부동소수점(FP32) 데이터를 8비트 정수(INT8)로 변환하는 과정에서 필연적으로 발생하는 정보의 손실, 즉 정확도 저하(Accuracy Drop)를 어떻게 제어하느냐가 모델 배포의 성패를 가릅니다. 본 포스팅에서는 학습 후 양자화를 진행하는 PTQ와 학습 과정에 양자화 오차를 반영하는 QAT의 수학적 메커니즘을 비교하고, 실무에서 정확도 손실을 최소화하기 위한 최적의 해결 방법을 심층적으로 분석합니다.

---

1. PTQ vs QAT: 양자화 기법의 기술적 비교

양자화는 기본적으로 연속적인 값을 이산적인 값으로 매핑하는 과정입니다. 이 과정에서 발생하는 양자화 노이즈($e = x - Q(x)$)를 처리하는 방식에 따라 두 기법은 큰 차이를 보입니다.

비교 항목	Post-Training Quantization (PTQ)	Quantization-Aware Training (QAT)
수행 시점	학습 완료 후 (Post-learning)	학습/미세조정 중 (During Training)
연산 비용	매우 낮음 (수 분 내 완료)	높음 (재학습/Fine-tuning 필요)
데이터 요구량	매우 적음 (Calibration용 100~1000개)	많음 (전체 학습 데이터셋 권장)
정확도 손실	상대적으로 큼 (특히 8비트 이하에서)	매우 적음 (FP32 수준 유지 가능)
작동 원리	통계적 분포 기반 범위 결정	Fake Quantization을 통한 가중치 적응

---

2. 정확도 손실이 발생하는 수학적 배경과 해결 방법

PTQ의 한계: Calibration Error

PTQ는 이미 고정된 가중치를 정수 범위로 구겨 넣는 방식입니다. 가중치 분포에 이상치(Outlier)가 많을 경우, 양자화 범위(Scale)가 넓어져 대부분의 값이 0 근처로 뭉치는 현상이 발생합니다. 이를 해결하기 위해 Percentile, MSE, Entropy 등의 캘리브레이션 알고리즘을 사용하지만 본질적인 정보 손실을 막기엔 역부족인 경우가 많습니다.

QAT의 우월성: Error Compensation

QAT는 학습 과정 중에 Fake Quantization 노드를 삽입합니다. Forward 시에는 양자화된 값을 사용하여 손실을 계산하고, Backward 시에는 실제 가중치를 업데이트합니다. 이를 통해 모델은 "양자화가 될 것임을 미리 알고" 가중치를 미세하게 조정하여 오차를 상쇄(Compensate)하도록 학습됩니다.

---

3. 실무 적용을 위한 Python 샘플 예제 (Example 7선)

TensorFlow와 PyTorch를 활용하여 양자화를 구현하고 정확도 손실을 방어하는 7가지 실무 해결 예제입니다.

Ex 1. TensorFlow Lite: PTQ 정수 양자화 (기본)

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model('my_model')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
# 대표 데이터셋을 제공하여 캘리브레이션 진행
def representative_data_gen():
    for _ in range(100):
        yield [np.random.rand(1, 224, 224, 3).astype(np.float32)]
converter.representative_dataset = representative_data_gen
tflite_model = converter.convert()

Ex 2. PyTorch: static PTQ를 통한 가중치 양자화

import torch
import torch.quantization

model = MyModel()
model.eval()
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
# 캘리브레이션을 위한 준비
model_prepared = torch.quantization.prepare(model)
# 임의의 데이터로 통계치 수집
model_prepared(torch.randn(1, 3, 224, 224))
model_int8 = torch.quantization.convert(model_prepared)

Ex 3. TensorFlow: Keras를 활용한 QAT 적용 방법

import tensorflow_model_optimization as tfmot

quantize_model = tfmot.quantization.keras.quantize_model
# 기존 모델을 양자화 인식 모델로 래핑
qat_model = quantize_model(base_model)
# 다시 컴파일 후 재학습 진행 (정확도 복원 과정)
qat_model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')
qat_model.fit(train_data, train_labels, epochs=1)

Ex 4. PyTorch: QAT를 통한 미세 조정(Fine-tuning)

model.train()
model.qconfig = torch.quantization.get_default_qat_qconfig('fbgemm')
model_prepared = torch.quantization.prepare_qat(model)
# 양자화 노이즈가 반영된 상태로 학습
optimizer = torch.optim.SGD(model_prepared.parameters(), lr=1e-4)
# 학습 루프 실행...
model_int8 = torch.quantization.convert(model_prepared.eval())

Ex 5. 비대칭 양자화(Asymmetric Quantization) 해결 방법

# 활성화 함수가 ReLU와 같이 0 이상의 값만 가질 때 효율적
qconfig = torch.quantization.QConfig(
    activation=torch.quantization.ObserverObserver.with_args(quant_min=0, quant_max=255),
    weight=torch.quantization.default_weight_observer
)

Ex 6. 레이어별 양자화 제외(Layer-wise Exclusion)

# 정확도에 민감한 첫 번째 레이어나 마지막 레이어는 양자화에서 제외하여 손실 방지
import tensorflow_model_optimization as tfmot

def apply_quantization_to_layer(layer):
    if 'conv2d_input' in layer.name or 'dense_output' in layer.name:
        return layer
    return tfmot.quantization.keras.quantize_annotate_layer(layer)

annotated_model = tf.keras.models.clone_model(base_model, clone_function=apply_quantization_to_layer)

Ex 7. ONNX Runtime을 이용한 모델 양자화 변환

from onnxruntime.quantization import quantize_dynamic, QuantType

# 동적 양자화(Dynamic Quantization)는 연산 시점에 가중치만 양자화하여 성능과 속도 절충
quantize_dynamic("model.onnx", "model_quant.onnx", weight_type=QuantType.QUInt8)

---

4. 결론: 어떤 기법을 언제 선택해야 하는가?

양자화 전략 수립의 기준은 정확도 유지의 중요성과 가용 리소스입니다.

• PTQ: 배포 일정이 촉박하고 정확도 하락(보통 1~3%)이 서비스에 치명적이지 않은 경우에 사용하십시오. 특히 ResNet 같은 CNN 구조에서 효율적입니다.
• QAT: 8비트 이하(4비트 등)로 극단적인 압축을 원하거나, MobileNet처럼 채널별 편차가 커서 PTQ 적용 시 성능이 급락하는 모델에 필수적입니다.

오늘날 2026년의 하드웨어 가속기들은 대부분 INT8 연산에 최적화되어 있으므로, QAT를 통한 정확도 복구는 고성능 AI 서비스를 위한 해결 방법의 정점으로 자리 잡고 있습니다.

---

참고 문헌 (Sources)

• Krishnamoorthi, R. (2018). "Quantizing deep convolutional networks for efficient inference: A whitepaper". arXiv preprint arXiv:1806.08342.
• Jacob, B., et al. (2018). "Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference". CVPR.
• PyTorch Documentation: "Quantization - Post Training and Training-Aware".
• TensorFlow Model Optimization Guide: "Quantization aware training".