728x90 BatchNorm1 [PYTORCH] 배치 정규화(Batch Normalization)의 3가지 핵심 역할과 최적 위치 선정을 위한 해결 방법 딥러닝 모델을 설계할 때 성능에 가장 큰 영향을 미치는 요소 중 하나는 내부 공변량 변화(Internal Covariate Shift)를 어떻게 제어하느냐입니다. 2015년 Sergey Ioffe와 Christian Szegedy에 의해 제안된 배치 정규화(Batch Normalization)는 현대 신경망 구조에서 빼놓을 수 없는 표준이 되었습니다. 본 가이드에서는 PyTorch를 활용하여 배치 정규화의 심도 있는 메커니즘을 분석하고, 실무에서 논쟁이 끊이지 않는 'ReLU 이전인가, 이후인가'에 대한 해답을 제시합니다.1. 배치 정규화의 정의와 동작 원리배치 정규화는 학습 과정에서 각 층의 입력 분포를 평균 0, 분산 1로 표준화하는 기법입니다. 단순히 표준화에 그치지 않고, 학습 가능한 파라미터인 .. 2026. 3. 24. 이전 1 다음 728x90
