[PYTHON] 효율적인 딥러닝 배포를 위한 QAT vs PTQ 성능 비교 및 2가지 최적화 방법

QAT vs PTQ

 

최근 거대 언어 모델(LLM)과 고성능 비전 모델이 쏟아져 나오면서, 이를 실제 서비스 환경(Edge Device, Mobile, Cloud Server)에 어떻게 저비용·고효율로 배포할 것인가가 엔지니어들의 핵심 과제가 되었습니다. 모델의 크기를 줄이고 연산 속도를 높이는 가장 강력한 기법 중 하나가 바로 양자화(Quantization)입니다. 본 포스팅에서는 Python 환경에서 PyTorch와 TensorFlow를 활용하여 모델의 정밀도를 유지하면서도 크기를 줄이는 두 가지 핵심 전략인 Post Training Quantization (PTQ)와 Quantization Aware Training (QAT)의 메커니즘을 심층 분석하고, 실무 개발자가 즉시 적용할 수 있는 7가지 실전 예제를 제공합니다.

---

1. 양자화(Quantization)의 본질적 이해

양자화란 모델의 가중치(Weights)와 활성화 함수(Activations)를 기존의 32비트 부동소수점($FP32$)에서 8비트 정수($INT8$)와 같은 낮은 비트로 변환하는 과정입니다. 이를 통해 메모리 대역폭을 4배 절감하고, 연산 속도를 비약적으로 상승시킬 수 있습니다.

왜 양자화가 필요한가?

• 추론 속도(Latency): $INT8$ 연산은 $FP32$ 연산보다 하드웨어 수준에서 훨씬 빠르게 처리됩니다.
• 모델 크기: 가중치 용량이 1/4로 줄어들어 저장 공간과 RAM 점유율을 최소화합니다.
• 에너지 효율: 특히 모바일 기기에서 전력 소모를 줄여 배터리 수명을 연장합니다.

---

2. PTQ vs QAT: 핵심 차이점 및 성능 비교

학습이 완료된 후 적용하느냐, 학습 과정에 개입하느냐에 따라 성능과 리소스 소모가 극명하게 갈립니다.

비교 항목	Post Training Quantization (PTQ)	Quantization Aware Training (QAT)
적용 시점	학습 완료 후 (Post-Training)	모델 학습 또는 미세 조정 중 (Fine-tuning)
데이터 필요성	소량의 보정(Calibration) 데이터 필요	전체 학습 데이터셋 필요
정확도 손실	민감한 모델에서 정확도 저하 발생 가능	정밀도 손실 최소화 및 복구 가능
구현 난이도	매우 낮음 (간편한 API 호출)	높음 (Fake Quantization 노드 삽입 및 재학습 필요)
계산 비용	거의 없음	상당함 (학습 리소스 추가 소모)
권장 용도	빠른 배포, 정확도 하락이 크지 않은 모델	자율주행, 의료기기 등 고정밀도가 필수인 모델

---

3. 실무 적용을 위한 Python 샘플 예제 (7가지)

개발자가 실무에서 바로 복사하여 사용할 수 있는 코드 스니펫입니다. PyTorch 기반으로 작성되었습니다.

Example 1: PyTorch 기본 PTQ 설정 및 준비

import torch
import torch.quantization

# 1. 모델 정의 (FP32)
model = torch.hub.load('pytorch/vision:v0.10.0', 'mobilenet_v2', pretrained=True)
model.eval()

# 2. 양자화 설정 지정 (x86 엔진 사용 시 'fbgemm', ARM 사용 시 'qnnpack')
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')

# 3. 모델 준비 (Observer 삽입)
model_fp32_prepared = torch.quantization.prepare(model)

Example 2: Static PTQ를 위한 데이터 보정(Calibration)

# 보정 데이터 로더(예시)를 통해 통계값 수집
def calibrate_model(model, data_loader):
    model.eval()
    with torch.no_grad():
        for image, _ in data_loader:
            model(image)

# 실제 보정 수행 (데이터셋 100~500개 권장)
# calibrate_model(model_fp32_prepared, calibration_data_loader)

# 4. 양자화 변환
model_int8 = torch.quantization.convert(model_fp32_prepared)
print("PTQ 변환 완료")

Example 3: 동적 양자화 (Dynamic Quantization) - NLP 모델 최적화

LSTM이나 Transformer 모델처럼 런타임에 활성화 함수가 변하는 경우 유리합니다.

import torch.quantization

# 가중치만 미리 양자화하고 활성화 함수는 추론 시 양자화
quantized_model = torch.quantization.quantize_dynamic(
    model,  # 변환할 모델
    {torch.nn.Linear},  # 양자화 적용 레이어 타입
    dtype=torch.qint8
)

Example 4: QAT 모델 초기화 및 Fake Quantization 설정

# QAT 전용 설정 사용
model_qat = torch.hub.load('pytorch/vision:v0.10.0', 'mobilenet_v2', pretrained=True)
model_qat.train()
model_qat.qconfig = torch.quantization.get_default_qat_qconfig('fbgemm')

# 양자화 오차를 학습에 반영하기 위한 준비
model_qat_prepared = torch.quantization.prepare_qat(model_qat)

Example 5: QAT 학습 루프 구현 방법

optimizer = torch.optim.SGD(model_qat_prepared.parameters(), lr=1e-4)
criterion = torch.nn.CrossEntropyLoss()

# 미세 조정 학습
for epoch in range(1): # QAT는 짧은 학습으로도 충분함
    for images, labels in train_loader:
        optimizer.zero_grad()
        output = model_qat_prepared(images)
        loss = criterion(output, labels)
        loss.backward()
        optimizer.step()

# 학습 후 변환
model_qat_int8 = torch.quantization.convert(model_qat_prepared.eval())

Example 6: 특정 레이어만 양자화 제외하기 (Mixed Precision)

# 특정 민감한 레이어의 qconfig를 None으로 설정하여 FP32 유지
model.classifier[1].qconfig = None 

# 이후 prepare 및 convert 진행 시 해당 레이어는 유지됨

Example 7: 모델 크기 및 추론 시간 비교 유틸리티

import os
import time

def print_model_size(model, label):
    torch.save(model.state_dict(), "temp.p")
    print(f"{label} 모델 크기: {os.path.getsize('temp.p')/1e6:.2f} MB")
    os.remove("temp.p")

def measure_latency(model, input_data):
    start = time.time()
    for _ in range(100):
        _ = model(input_data)
    end = time.time()
    print(f"평균 추론 시간: {(end-start)/100*1000:.2f} ms")

# 비교 실행
dummy_input = torch.randn(1, 3, 224, 224)
print_model_size(model, "Original FP32")
print_model_size(model_int8, "PTQ INT8")

---

4. 결론: 어떤 방법을 선택해야 하는가?

성능 비교 결과, 모델의 파라미터 수가 적은 모델(MobileNet, SqueezeNet 등)일수록 PTQ 적용 시 정확도가 크게 떨어지는 경향이 있습니다. 이때는 반드시 QAT를 선택해야 합니다. 반면 ResNet-50과 같이 파라미터가 충분히 많은 모델은 PTQ만으로도 $FP32$ 대비 1% 미만의 정확도 차이를 유지하며 성공적으로 배포할 수 있습니다.

 

최적의 워크플로우:
1. 우선 Dynamic Quantization을 시도하여 속도 이득을 확인합니다.
2. 정확도 하락이 심하다면 Static PTQ를 적용합니다.
3. 그럼에도 성능이 부족하다면 최종적으로 QAT 미세 조정을 수행합니다.

---

출처 및 참고문헌

• PyTorch Documentation: "Quantization - Practical Guide" (2025)
• TensorFlow Model Optimization Toolkit: "Post-training quantization"
• White Paper: "Quantizing deep convolutional networks for efficient inference: A whitepaper" (Google)
• NVIDIA Developer Blog: "Advanced Quantization Techniques with TensorRT"