728x90 NonleafTensor1 [PYTORCH] Leaf Tensor와 Non-leaf Tensor의 결정적 차이 3가지와 기울기 소실 해결 방법 7가지 파이토치(PyTorch)의 자동 미분 시스템인 Autograd를 깊게 파고들다 보면, 어느 순간 .is_leaf라는 속성을 마주하게 됩니다. 우리가 모델을 학습시키기 위해 선언한 가중치(Weights)는 Leaf Tensor로 취급되지만, 연산 과정에서 생성된 중간 결과물들은 Non-leaf Tensor가 됩니다. 이 미세한 구분을 이해하지 못하면, 역전파(Backpropagation) 후에 .grad 값이 왜 None으로 나오는지, 혹은 왜 특정 텐서에서 메모리 누수가 발생하는지 갈피를 잡을 수 없게 됩니다. 본 포스팅에서는 실무 엔진이어의 관점에서 계산 그래프의 뿌리와 줄기를 형성하는 이 두 텐서의 개념적 가치를 분석하고, 실제 개발 현장에서 즉시 적용 가능한 7가지 솔루션을 제안합니다.1. Leaf.. 2026. 3. 23. 이전 1 다음 728x90
