728x90 TeacherStudent1 [PYTHON] Teacher-Student 증류 시 Soft Label 온도 설정 방법과 3가지 성능 차이 해결 전략 딥러닝 모델의 경량화 기술 중 가장 각광받는 지식 증류(Knowledge Distillation)는 거대한 Teacher 모델의 지식을 가볍고 빠른 Student 모델로 전이하는 핵심 프로세스입니다. 이 과정에서 가장 중요한 물리량이 바로 온도(Temperature, $T$)입니다. 단순히 Softmax를 적용하는 것을 넘어, 왜 특정 온도에서 지식 전이가 더 잘 일어나는지, 그리고 실무 데이터셋에 따라 어떻게 $T$를 설정해야 하는지에 대한 정답을 찾기란 쉽지 않습니다. 본 포스팅에서는 지식 증류의 수학적 배경부터 시작하여, Soft Label의 엔트로피를 조절하는 온도 $T$의 최적 설정 기준, 그리고 실무 개발자가 바로 적용할 수 있는 파이토치(PyTorch) 기반의 실전 예제 7가지를 상세히 공유.. 2026. 4. 15. 이전 1 다음 728x90
