[PYTORCH] backward() 두 번 호출 시 에러 발생하는 이유 1가지와 해결 방법 7가지

backward()

 

 

파이토치(PyTorch)를 학습하다 보면 누구나 한 번쯤 "RuntimeError: Trying to backward through the graph a second time..."이라는 붉은색 에러 메시지를 마주하게 됩니다. 분명히 손실(Loss)을 계산했고, 미분값을 구하고 싶어서 backward()를 호출했을 뿐인데 왜 두 번째 호출에서는 파이토치가 거부 반응을 보이는 것일까요? 이는 파이토치가 채택하고 있는 동적 계산 그래프(Dynamic Computational Graph)의 메모리 관리 철학과 밀접한 관련이 있습니다. 본 포스팅에서는 단순한 문법적 설명을 넘어, 텐서 엔진 내부에서 그래프가 소멸되는 과정을 심층 분석하고 실무에서 복합적인 손실 함수를 다룰 때 이 문제를 우회하고 해결할 수 있는 7가지 전문적인 기법을 제시합니다.

---

1. backward() 호출 시 발생하는 그래프 파괴 메커니즘

파이토치는 Define-by-Run 방식을 사용하여 연산이 수행될 때마다 그래프를 생성합니다. 하지만 이 그래프를 유지하는 데는 상당한 양의 GPU 메모리가 소모됩니다. 따라서 파이토치는 효율성을 위해 역전파가 끝나는 즉시 그래프의 중간 결과물들을 삭제하도록 설계되었습니다.

동작 단계	내부 처리 내용	그래프 상태
1차 backward() 시작	Loss 텐서로부터 시작하여 역방향으로 체인 룰 적용	활성화 (Active)
미분값 계산 중	각 파라미터의 .grad 필드에 누적 계산	활성화 (Active)
backward() 종료 직전	메모리 최적화를 위해 중간 연산 버퍼(Buffers) 해제	파괴 (Destroyed)
2차 backward() 시도	이미 삭제된 버퍼에 접근 시도	존재하지 않음 (Error)

---

2. 왜 그래프를 즉시 삭제하는가? (독창적인 가치 분석)

• 메모리 대역폭 확보: 딥러닝 모델은 수천만 개의 파라미터를 가집니다. 역전파에 필요한 중간 활성화 값을 계속 유지하면 배치를 조금만 키워도 OOM(Out of Memory)이 발생합니다.
• 동적 유연성: 매 루프마다 그래프가 파괴되므로, 다음 루프에서 조건문에 따라 모델의 구조가 완전히 바뀌어도 아무런 제약 없이 새로운 그래프를 그릴 수 있습니다.
• Garbage Collection 최적화: 파이썬의 참조 횟수(Reference Counting)와 연동되어 더 이상 필요 없는 텐서 객체를 즉각적으로 회수합니다.

---

3. 실무 에러 해결을 위한 핵심 Sample Examples (7가지)

실제 딥러닝 프로젝트 현장에서 두 번 이상의 backward()가 필요할 때 사용할 수 있는 구체적인 해결 코드입니다.

Example 1: retain_graph=True를 이용한 기본 해결 방법

import torch

x = torch.randn(2, 2, requires_grad=True)
y = x * 2
loss1 = y.sum()
loss2 = y.mean()

# 첫 번째 호출에서 그래프를 파괴하지 않도록 설정
loss1.backward(retain_graph=True)
# 이제 두 번째 호출도 성공합니다.
loss2.backward()
    

Example 2: 여러 손실 함수를 하나로 합쳐서 해결

가장 권장되는 방식입니다. 그래프를 유지하지 않고도 효율적으로 한 번에 미분할 수 있습니다.

total_loss = loss1 + loss2
total_loss.backward() # 그래프 한 번만 생성 및 파괴
    

Example 3: GAN 학습 시 Generator와 Discriminator의 독립적 역전파 해결

# Discriminator 학습 (True 이미지)
d_loss_real.backward(retain_graph=True) 

# Discriminator 학습 (Fake 이미지 - Generator의 그래프 공유)
d_loss_fake.backward() # 여기서 그래프 해제
    

Example 4: 고차 미분(Hessian) 계산 시 그래프 유지 해결

# 기울기의 기울기를 구할 때는 1차 미분 그래프가 살아있어야 합니다.
grad = torch.autograd.grad(loss, x, create_graph=True)[0]
l2_norm = grad.pow(2).sum()
l2_norm.backward()
    

Example 5: 특정 레이어만 detach() 하여 그래프 분리 해결

# 복잡한 멀티 태스크에서 특정 경로는 그래프를 끊어 독립적으로 처리
task_specific_output = shared_output.detach()
loss_task = criterion(task_specific_output, target)
loss_task.backward() # shared_output 이전의 그래프는 건드리지 않음
    

Example 6: 그래디언트 누적(Accumulation) 기법 활용

# 배치를 쪼개서 학습할 때 매번 backward 하되, 그래프는 매번 새로 그림
for i in range(steps):
    out = model(sub_batch)
    loss = criterion(out, sub_target)
    loss.backward() # 각 스텝마다 그래프 생성/파괴, 미분값은 누적됨
    

Example 7: 사용자 정의 Autograd Function 내에서의 버퍼 보존

class MyOp(torch.autograd.Function):
    @staticmethod
    def forward(ctx, x):
        ctx.save_for_backward(x) # 역전파용 텐서 명시적 저장
        return x ** 2
    
    @staticmethod
    def backward(ctx, grad_output):
        x, = ctx.saved_tensors
        return grad_output * 2 * x
    

---

4. 전문가의 인사이트: 메모리 누수(Memory Leak)를 피하는 법

retain_graph=True는 강력하지만 양날의 검입니다. 만약 학습 루프의 마지막 backward()에서도 이 옵션을 True로 설정하면, 해당 그래프와 연결된 모든 중간 텐서들이 메모리에서 해제되지 않고 누적됩니다. 이는 결국 시스템 다운으로 이어집니다. 시니어 개발자는 반드시 "마지막 역전파 호출 시에는 retain_graph를 False(기본값)로 둔다"는 원칙을 고수하여 메모리를 깨끗하게 비워줍니다.

---

5. 결론 및 요약

파이토치에서 backward()를 두 번 호출할 때 에러가 나는 것은 버그가 아니라 의도된 최적화 설계입니다.

• 파이토치는 backward() 직후 메모리 절약을 위해 연산 그래프를 파괴한다.
• 연속적인 역전파가 필요하다면 retain_graph=True 옵션을 사용하여 파괴를 막을 수 있다.
• 가장 좋은 해결책은 가능한 한 여러 손실을 Total Loss로 합쳐서 한 번에 역전파하는 것이다.

---

내용 출처 및 참고 문헌 (Sources)

• PyTorch Docs: Autograd mechanics - why do we need to zero_grad?
• PyTorch Forums: RuntimeError: Trying to backward through the graph a second time
• "Deep Learning with PyTorch" (Stevens et al., Manning Publications)