728x90 그래디언트확인1 [PYTORCH] 중간 텐서 그래디언트 확인 방법 2가지와 register_hook 활용 해결책 7가지 딥러닝 모델의 복잡도가 높아질수록 역전파(Backpropagation) 과정에서 발생하는 그래디언트 소실(Vanishing)이나 폭주(Exploding) 문제는 개발자를 괴롭히는 주범이 됩니다. 파이토치(PyTorch)의 Autograd 엔진은 메모리 효율성을 극대화하기 위해 잎 노드(Leaf Node)가 아닌 중간 단계의 텐서(Non-leaf Tensor) 그래디언트를 역전파 직후 메모리에서 삭제합니다. 이로 인해 단순한 .grad 접근으로는 None만을 마주하게 됩니다. 이때 시니어 엔지니어가 꺼내 드는 비장의 카드가 바로 register_hook입니다. 본 포스팅에서는 중간 단계 텐서의 미분값을 가로채고(Intercept), 수정하며, 분석할 수 있는 register_hook의 독창적인 메커니즘을 .. 2026. 3. 23. 이전 1 다음 728x90
