PyTorch를 이용한 딥러닝 프로젝트에서 GPU 사용률이 100%에 도달하지 못하고 모델이 노는 현상을 겪어보셨나요? 이는 대부분 Data Loading Bottleneck 때문입니다. 본 가이드에서는 num_workers 옵션이 데이터 파이프라인의 효율성을 어떻게 결정하는지, 그리고 시스템 리소스에 따른 최적의 값을 찾는 전문적인 해결책을 제시합니다.
1. num_workers의 기술적 정의와 멀티프로세싱의 이해
PyTorch의 DataLoader에서 num_workers는 데이터를 로드하기 위해 사용하는 서브 프로세스(Sub-process)의 개수를 의미합니다. 기본값인 0은 메인 프로세스에서 동기적으로 데이터를 읽어온다는 뜻이며, 이는 학습 속도를 비약적으로 저하시키는 주요 원인이 됩니다. 멀티프로세싱을 활용하면 GPU가 현재 배치를 연산하는 동안, CPU는 다음 배치를 미리 준비(Prefetching)하여 병목 현상을 해결할 수 있습니다.
2. num_workers 설정값에 따른 성능 차이 및 리소스 비교
단순히 숫자를 높인다고 성능이 선형적으로 증가하지는 않습니다. 하드웨어 환경에 따른 차이를 분석한 표입니다.
| 설정값 (num_workers) | 데이터 로딩 방식 | 성능 (Throughput) | 메모리(RAM) 점유율 | 권장 시나리오 |
|---|---|---|---|---|
| 0 (Default) | Main Process 동기 로딩 | 매우 낮음 | 매우 낮음 | 디버깅, 매우 작은 데이터셋 |
| 1 | Single Worker 멀티프로세싱 | 낮음 ~ 보통 | 보통 | 저사양 CPU 환경 |
| CPU Core 수 / 2 | 균형 잡힌 병렬 로딩 | 높음 (최적) | 적정 | 일반적인 워크스테이션 학습 |
| CPU Core 수 이상 | 과도한 프로세스 생성 | 저하 가능성 (Overhead) | 매우 높음 | 비권장 (Context Switching 발생) |
3. 실무 최적화를 위한 num_workers 활용 Example 7가지
개발자가 실무에서 성능 병목을 해결하기 위해 바로 적용할 수 있는 핵심 코드 패턴입니다.
Example 1: 현재 시스템의 CPU 코어 수를 반영한 동적 설정
import os
from torch.utils.data import DataLoader
# 시스템의 물리적 코어 수를 확인하여 최적값 할당
num_cpus = os.cpu_count()
optimal_workers = num_cpus if num_cpus > 0 else 0
loader = DataLoader(dataset, batch_size=64, num_workers=optimal_workers)
Example 2: pin_memory 옵션과의 병행 사용 (성능 극대화)
GPU로 데이터를 전송할 때 페이지 잠금 메모리를 사용하여 전송 속도를 높이는 해결 방법입니다.
loader = DataLoader(
dataset,
batch_size=128,
num_workers=4,
pin_memory=True # GPU 전송 효율화
)
Example 3: Windows 환경에서의 멀티프로세싱 에러 해결 (if __name__ == '__main__')
Windows에서 num_workers > 0 설정 시 발생하는 런타임 에러 해결 방법입니다.
if __name__ == '__main__':
# Windows에서는 반드시 main 블록 안에서 실행해야 함
loader = DataLoader(dataset, batch_size=32, num_workers=2)
for batch in loader:
train(batch)
Example 4: 데이터 로딩 시간 측정을 통한 병목 진단
import time
start = time.time()
for i, data in enumerate(loader):
if i > 10: break
pass
end = time.time()
print(f"평균 로딩 시간: {(end - start) / 10:.4f}s")
Example 5: 대용량 이미지 처리를 위한 Prefetch Factor 조정
# PyTorch 1.7+ 버전에서 지원하는 사전 로드 개수 제어
loader = DataLoader(
dataset,
batch_size=64,
num_workers=4,
prefetch_factor=2 # 워커당 2개 배치 미리 로드
)
Example 6: 반복적인 Worker 생성 비용 절감 (persistent_workers)
# 에포크가 끝날 때 워커를 파괴하지 않고 유지하여 오버헤드 감소
loader = DataLoader(
dataset,
batch_size=64,
num_workers=4,
persistent_workers=True
)
Example 7: 메모리 부족(OOM) 발생 시 단계적 축소 전략
try:
loader = DataLoader(dataset, batch_size=256, num_workers=8)
# 학습 로직
except RuntimeError as e:
if "out of memory" in str(e):
print("Memory 부족으로 num_workers를 축소합니다.")
loader = DataLoader(dataset, batch_size=256, num_workers=4)
4. num_workers 과다 설정 시 발생하는 문제점과 해결책
무조건 높은 값을 설정하는 것은 오히려 독이 될 수 있습니다. 대표적인 3가지 부작용입니다.
- Shared Memory 부족: Docker 컨테이너 환경(특히
/dev/shm)에서 프로세스 간 통신을 위한 메모리가 부족하여 학습이 중단될 수 있습니다. (--shm-size조절 필요) - CPU Overhead: 데이터 전처리 연산보다 프로세스를 관리하는 비용(Context Switching)이 더 커져 속도가 느려집니다.
- Zombie Processes: 예외 발생 시 프로세스가 제대로 종료되지 않아 좀비 프로세스가 남는 경우가 있습니다.
5. 결론: 당신의 환경에 맞는 최적의 숫자는?
가장 전문적인 권장 사항은 (GPU 개수 * 4) 또는 (CPU 코어 수 / 2)에서 시작하여 성능을 모니터링하며 가감하는 것입니다. num_workers는 단순한 설정값이 아니라, 하드웨어 리소스를 모델 학습에 얼마나 밀도 있게 쏟아부을지를 결정하는 레버와 같습니다.
