[PYTHON] 파이썬 멀티프로세싱 성능을 높이는 1가지 핵심 : Copy-on-Write 활용과 메모리 절약 방법

Copy-on-Write

 

파이썬으로 대규모 데이터를 처리할 때 가장 먼저 마주하는 벽은 '메모리 부족'입니다. 특히 multiprocessing 모듈을 사용하여 병렬 처리를 수행할 때, 프로세스마다 데이터가 복제되어 RAM이 순식간에 가득 차는 현상을 경험해보셨을 것입니다. 하지만 리눅스 기반 시스템의 Copy-on-Write (CoW) 메커니즘을 정확히 이해하고 활용하면, 추가적인 메모리 할당 없이도 효율적인 병렬 연산이 가능합니다. 오늘 이 글에서는 CoW의 원리와 파이썬에서의 실제 적용 방법, 그리고 주의해야 할 성능 저하 요소를 전문적으로 분석합니다.

---

1. 파이썬 멀티프로세싱과 CoW의 메커니즘 차이점

전통적인 멀티프로세싱 모델에서는 자식 프로세스가 생성될 때 부모의 메모리 공간을 그대로 복사하는 것으로 알려져 있습니다. 하지만 최신 운영체제는 효율성을 위해 Copy-on-Write(쓰기 시 복사) 방식을 채택합니다. 이는 자식 프로세스가 생성되는 시점에는 메모리를 복제하지 않고 부모의 메모리를 공유하다가, 어느 한쪽에서 데이터를 수정(Write)하는 순간에만 해당 메모리 페이지를 복제하는 방식입니다.

메모리 공유와 복제의 핵심 비교

비교 항목	일반적인 복제 방식 (Fork)	Copy-on-Write (CoW) 방식	성능 영향
초기 메모리 점유	부모 프로세스 메모리만큼 즉시 할당	부모의 물리 주소를 공유 (거의 0에 수렴)	CoW가 압도적으로 빠름
데이터 수정 시	이미 복제된 상태이므로 변화 없음	수정된 페이지만 별도로 복제 발생	수정 시 일시적 오버헤드 발생
읽기 전용 데이터	중복된 메모리 낭비 발생	모든 프로세스가 단일 메모리 참조	메모리 효율성 극대화
주요 활용 사례	독립적인 작업 수행	대용량 Read-only 데이터 병렬 처리	빅데이터 분석 필수 기법

---

2. 파이썬에서 CoW가 작동하지 않는 2가지 원인

이론적으로는 메모리가 절약되어야 하지만, 실제 파이썬 환경에서는 CoW가 제대로 작동하지 않아 메모리 사용량이 폭발하는 경우가 많습니다. 그 대표적인 원인 2가지는 다음과 같습니다.

첫째, Reference Counting (참조 횟수)의 변화

파이썬의 가비지 컬렉션(GC) 시스템은 객체의 참조 횟수를 관리합니다. 단순히 객체를 읽기만 해도 내부적으로 참조 횟수가 변경될 수 있는데, 이는 운영체제 입장에서 '데이터 수정'으로 간주됩니다. 결과적으로 모든 메모리 페이지가 복제되는 'CoW 파괴' 현상이 일어납니다.

둘째, Fork vs Spawn 방식의 차이

윈도우(Windows)는 spawn 방식을 기본으로 사용하므로 CoW의 혜택을 전혀 받지 못합니다. 리눅스(Linux) 환경에서만 fork 방식을 통해 CoW를 활용할 수 있다는 점을 명심해야 합니다.

---

3. [Sample Example] 효율적인 메모리 관리 해결 코드

다음은 대용량 데이터프레임이나 리스트를 다룰 때, 불필요한 복제를 방지하고 CoW를 최대한 활용하는 전문적인 파이썬 구현 예제입니다.

import multiprocessing
import os
import numpy as np
import gc

# 1. 대용량 글로벌 데이터 생성 (Read-only 목적으로 설계)
large_data = np.random.rand(10000000) # 약 80MB 데이터

def worker_task(index):
    """
    자식 프로세스에서 글로벌 데이터를 읽기만 수행.
    이때 CoW 덕분에 메모리가 복제되지 않음.
    """
    # 데이터 수정 없이 읽기만 수행하여 CoW 유지
    value = large_data[index]
    return value * 2

if __name__ == "__main__":
    # 리눅스 환경에서 fork 방식 명시 (CoW 활성화의 핵심)
    try:
        multiprocessing.set_start_method('fork')
    except RuntimeError:
        pass

    # 가비지 컬렉터 비활성화 (참조 횟수 변경으로 인한 CoW 파괴 방지 전략)
    # 대규모 읽기 전용 작업 시 일시적으로 활용 가능
    # gc.freeze() # Python 3.7+ 에서 지원

    with multiprocessing.Pool(processes=4) as pool:
        results = pool.map(worker_task, range(10))
    
    print(f"작업 완료: {results}")

---

4. 메모리 절약을 위한 3단계 전략 요약

1. 데이터 구조의 불변성 유지: 자식 프로세스 내에서 글로벌 객체를 절대 수정하지 마십시오.
2. gc.freeze() 활용: 파이썬 3.7 이상을 사용한다면 fork 직전에 gc.freeze()를 호출하여 기존 객체들을 GC 관리 대상에서 제외(얼림)함으로써 참조 횟수 변경에 의한 복제를 방지할 수 있습니다.
3. Numpy Shared Memory 고려: CoW만으로 부족한 극단적인 상황에서는 multiprocessing.shared_memory 모듈을 통해 명시적으로 공유 메모리 영역을 할당하십시오.

---

5. 결론 및 요약

파이썬 멀티프로세싱에서 메모리를 절약하는 방법은 단순히 '코드를 잘 짜는 것'을 넘어 운영체제의 메모리 관리 기법인 CoW를 얼마나 잘 유도하느냐에 달려 있습니다. fork 방식 사용, 전역 변수의 읽기 전용 활용, 그리고 GC 상태 관리라는 3요소를 결합하면 메모리 사용량을 기존 대비 50% 이상 절감할 수 있는 해결책을 얻게 됩니다.

핵심 요약	Linux의 Fork 기반 CoW를 활용하여 자식 프로세스 간 메모리 공유 극대화
해결 방법	gc.freeze() 사용 및 전역 데이터 수정 금지로 페이지 복제(Copy) 방지

---

내용 출처 및 참고 문헌

• Python Documentation: multiprocessing — Process-based parallelism
• Linux Programmer's Manual: fork(2) System Call and Copy-on-Write mechanism
• Python Enhancement Proposal (PEP) 442: Safe object finalization
• High Performance Python (2nd Edition) by Micha Gorelick and Ian Ozsvald