[PYTHON] Global Interpreter Lock이 threading 스케줄링에 주는 3가지 영향과 성능 해결 방법

Global Interpreter Lock

 

 

파이썬 개발자라면 누구나 한 번쯤 "멀티코어 시대에 왜 내 파이썬 코드는 하나의 코어만 사용하는가?"라는 의문을 품게 됩니다. 그 중심에는 파이썬의 악명 높은 GIL(Global Interpreter Lock)이 자리 잡고 있습니다. 특히 threading 모듈을 사용하여 병렬 처리를 시도할 때, GIL은 우리가 기대하는 스케줄링 방식과는 전혀 다른 양상으로 시스템에 영향을 미칩니다. 본 포스팅에서는 단순한 이론을 넘어, GIL이 파이썬 스레드 스케줄링에 미치는 실질적인 메커니즘과 이로 인해 발생하는 병목 현상을 해결하기 위한 전문적인 최적화 기법을 낱낱이 분석합니다.

---

1. GIL(Global Interpreter Lock)의 본질과 존재 이유

GIL은 파이썬 인터프리터(CPython) 내에서 한 번에 오직 하나의 스레드만이 파이썬 바이트코드를 실행할 수 있도록 보장하는 뮤텍스(Mutex)입니다. 이는 파이썬의 메모리 관리 방식인 레퍼런스 카운팅(Reference Counting)을 스레드 안전(Thread-safe)하게 유지하기 위해 도입되었습니다. 만약 GIL이 없다면, 여러 스레드가 동시에 객체의 참조 횟수를 변경하다가 메모리 누수나 크래시가 발생할 수 있습니다.

---

2. GIL이 threading 스케줄링에 미치는 3가지 핵심 영향

GIL은 운영체제의 스레드 스케줄러와 별개로 인터프리터 수준에서 실행 흐름을 제어하며 다음과 같은 영향을 미칩니다.

영향 항목	상세 내용	발생하는 결과
CPU Bound 작업 병목	여러 스레드가 연산을 시도해도 실제론 순차 실행	멀티코어 활용 불가, 성능 저하
Check Interval 기반 스위칭	일정 시간(기본 5ms)마다 GIL을 해제하고 재획득 시도	불필요한 컨텍스트 스위칭 오버헤드 발생
I/O Bound 효율성	I/O 대기 시 GIL을 자동으로 반납	네트워크/파일 작업 시에는 병렬 효과 유효

---

3. 스케줄링 방식의 차이: 과거 vs 현재 (Python 3.2+)

과거의 파이썬은 실행된 '명령어 개수'를 기준으로 GIL을 넘겨주었습니다. 하지만 이 방식은 I/O 작업이 많은 스레드가 CPU 집약적인 스레드에 밀려 실행 기회를 얻지 못하는 문제를 야기했습니다. 현재(Python 3.2 이후)는 Time-driven GIL 방식을 사용합니다. 한 스레드가 GIL을 획득하면 5밀리초(ms) 동안 점유하며, 시간이 지나면 다른 스레드에게 기회를 줍니다. 그러나 이 방식 역시 'GIL 경합(Contention)' 문제를 완벽히 해결하지는 못하며, 특히 멀티코어 환경에서 스레드가 서로 다른 코어에서 실행되려 할 때 시스템 버스에서 발생하는 충돌로 인해 단일 스레드보다 느려지는 현상이 발생하기도 합니다.

---

4. Sample Example: GIL로 인한 성능 차이 측정 해결 방법

아래 코드는 CPU 연산 작업 시 멀티스레딩이 실제 성능에 어떤 영향을 주는지(혹은 주지 못하는지) 확인하는 벤치마크 예시입니다.

import threading
import time

def heavy_computation(n):
    """CPU 집약적인 연산 작업"""
    result = 0
    for i in range(n):
        result += i
    return result

def run_sequential(n, iterations):
    start = time.time()
    for _ in range(iterations):
        heavy_computation(n)
    end = time.time()
    print(f"순차 실행 시간: {end - start:.4f}초")

def run_multithreaded(n, iterations):
    start = time.time()
    threads = []
    for _ in range(iterations):
        t = threading.Thread(target=heavy_computation, args=(n,))
        threads.append(t)
        t.start()
    
    for t in threads:
        t.join()
    end = time.time()
    print(f"멀티스레드 실행 시간: {end - start:.4f}초")

if __name__ == "__main__":
    N = 10_000_000
    ITER = 2
    
    # GIL 때문에 멀티스레드 성능이 순차 실행과 비슷하거나 오히려 느림을 확인
    run_sequential(N, ITER)
    run_multithreaded(N, ITER)

---

5. 전문가가 제안하는 GIL 한계 극복 및 성능 해결 전략

GIL의 제약을 우회하여 진정한 성능 향상을 이루기 위해서는 다음과 같은 접근이 필요합니다.

• Multiprocessing 사용: CPU 연산이 주된 작업이라면 threading 대신 multiprocessing을 사용하십시오. 각 프로세스는 개별 인터프리터와 GIL을 가지므로 물리 코어를 모두 활용할 수 있습니다.
• C 확장 모듈(NumPy 등) 활용: NumPy나 Pandas 같은 라이브러리는 내부 연산을 C로 수행하며, 이 과정에서 GIL을 해제합니다. 따라서 복잡한 행렬 연산은 라이브러리에 맡기는 것이 최선입니다.
• Asyncio 고려: 대규모 I/O 처리가 목적이라면 스레드 생성 비용이 없는 asyncio 기반의 비동기 프로그래밍이 스케줄링 효율 측면에서 유리합니다.
• Python 3.13의 Free-threaded 모드: 최신 파이썬 버전에서는 실험적으로 GIL을 완전히 제거한 빌드를 제공하기 시작했습니다. 향후 이 모드가 안정화되면 스레딩 스케줄링의 패러다임이 바뀔 것입니다.

---

참고 문헌 및 출처

• Beazley, D. (2010). "Inside the Python GIL". Chicago Python User Group.
• Python Software Foundation. "The Python Standard Library: Global Interpreter Lock".
• Gorelick, M., & Ozsvald, I. (2020). "High Performance Python". O'Reilly Media.
• Antoine Pitrou. "The new GIL". Python Enhancement Proposals (PEP 3216).