728x90 dark knowledge1 [PYTHON] Knowledge Distillation 온도(Temperature) 파라미터의 3가지 역할과 성능 차이 해결 방법 딥러닝 모델의 경량화 기술 중 하나인 지식 증류(Knowledge Distillation)는 거대한 Teacher 모델의 지식을 효율적인 Student 모델로 이전하는 고도의 전략입니다. 이 과정에서 가장 핵심적인 변수는 바로 온도(Temperature, $T$) 파라미터입니다. 많은 개발자가 단순히 소프트맥스(Softmax) 함수의 분모에 들어가는 수치로만 이해하고 있지만, 이 파라미터는 모델이 학습하는 정보의 '농도'를 조절하는 결정적인 역할을 합니다. 본 가이드에서는 Python 환경에서 온도가 모델 성능에 미치는 통계적 근거와 실무적인 적용 기법을 심도 있게 분석합니다.1. 지식 증류(Knowledge Distillation)와 온도의 정의지식 증류의 핵심은 Teacher 모델이 내뱉는 'Soft.. 2026. 4. 29. 이전 1 다음 728x90
