[PYTHON] 고성능 비동기 처리를 위한 Greenlet과 Fiber 개념의 3가지 차이점과 실전 구현 방법

Greenlet과 Fiber 개념

 

 

현대적인 백엔드 시스템을 설계할 때 동시성(Concurrency)은 선택이 아닌 필수입니다. 파이썬 개발자라면 흔히 threading이나 asyncio를 떠올리지만, 고성능 처리를 극대화하기 위해 더 깊은 곳으로 내려가면 Greenlet과 Fiber라는 개념을 마주하게 됩니다. 이들은 운영체제가 관리하는 무거운 스레드가 아닌, 사용자 영역(User-space)에서 관리되는 '경량 스레드'의 핵심 기술입니다. 본 포스팅에서는 시스템 프로그래밍 관점에서 Greenlet과 Fiber의 기술적 메커니즘을 분석하고, 파이썬 환경에서 이를 어떻게 구현하고 활용할 수 있는지 상세히 다룹니다.

---

1. Greenlet과 Fiber: 개념적 정의와 탄생 배경

전통적인 운영체제 레벨의 스레드(OS Thread)는 컨텍스트 스위칭(Context Switching) 비용이 발생합니다. 수천 개의 연결을 동시에 처리해야 하는 서버 환경에서 OS 스레드는 메모리 오버헤드와 CPU 캐시 미스 문제를 야기합니다. 이를 해결하기 위해 등장한 것이 코루틴(Coroutine)의 발전 형태인 Greenlet과 Fiber입니다.

• Fiber: 운영체제가 아닌 애플리케이션(사용자 영역)에서 스케줄링하는 실행 단위입니다. 협력적 멀티태스킹(Cooperative Multitasking)을 기반으로 하며, 특정 시점에 실행 권한을 명시적으로 양보(Yield)해야 합니다.
• Greenlet: 파이썬의 C-API를 확장하여 구현된 마이크로 스레드입니다. 스택(Stack)을 직접 조작하여 실행 흐름을 전환하며, 원시적인 코루틴보다 더 유연한 전환 구조를 제공합니다.

---

2. Greenlet과 Fiber의 3가지 핵심 차이 비교

두 개념은 유사해 보이지만, 제어 흐름의 주도권과 스택 관리 방식에서 명확한 차이를 보입니다.

비교 항목	Fiber (파이버)	Greenlet (그린릿)
스케줄링 방식	중앙 집중식 스케줄러가 실행 순서 결정	스케줄러 없이 그린릿 간 직접 전환 (Switch)
계층 구조	일반적으로 부모-자식 간의 엄격한 계층이 존재	부모 그린릿 개념이 있으나 임의의 전환이 자유로움
구현 목적	OS 스레드 오버헤드 제거 및 동시성 제어	파이썬 내에서 비동기 I/O 효율성 극대화

---

3. 파이썬에서의 실전 구현체: Gevent와 Greenlet

파이썬에서 이러한 개념을 가장 잘 구현한 라이브러리는 gevent와 그 기반이 되는 greenlet 모듈입니다. 특히 gevent는 표준 라이브러리의 블로킹 소켓을 자동으로 비동기로 변환해주는 Monkey Patching 기술로 유명합니다.

왜 Greenlet을 사용하는가? (문제 해결 관점)

1. 동기 코드의 비동기화: 기존에 작성된 동기 방식의 라이브러리를 수정 없이 비동기로 실행할 수 있습니다.
2. 메모리 절약: 수만 개의 그린릿을 생성해도 OS 스레드 수십 개 수준의 메모리만 점유합니다.
3. 명시적 제어: yield from이나 await 없이도 특정 지점에서 실행 흐름을 제어할 수 있습니다.

---

4. Sample Example: Greenlet을 이용한 실행 흐름 제어 방법

다음은 파이썬 greenlet 라이브러리를 사용하여 두 개의 루틴이 어떻게 데이터를 주고받으며 제어권을 전환하는지 보여주는 예제입니다.

from greenlet import greenlet

def test1(name):
    print(f'{name}: Hello from Greenlet 1')
    # g2로 제어권을 넘김
    gr2.switch("Data from G1")
    print(f'{name}: Back in Greenlet 1')
    gr2.switch()

def test2(message):
    print(f'Greenlet 2 received: {message}')
    print('Greenlet 2: Working...')
    # 다시 g1으로 제어권을 넘김
    gr1.switch()
    print('Greenlet 2: Goodbye')

# 그린릿 객체 생성
gr1 = greenlet(test1)
gr2 = greenlet(test2)

# gr1 실행 시작
gr1.switch("Alice")

이 예제에서 볼 수 있듯이, switch() 메서드는 Fiber의 명시적 양보와 유사하게 동작하지만 스케줄러를 거치지 않고 직접 타겟 루틴으로 점프한다는 점에서 매우 효율적입니다.

---

5. 대규모 시스템 설계 시 주의사항

Greenlet이나 Fiber 기반의 구조를 채택할 때 주의해야 할 점은 CPU Intensive 작업입니다. 이들은 협력적 멀티태스킹이므로, 한 곳에서 루프를 돌며 제어권을 넘기지 않으면 시스템 전체가 멈추는(Starvation) 현상이 발생합니다. 따라서 계산 집약적인 작업은 multiprocessing을 혼합하여 해결하는 것이 현명합니다.

---

6. 내용의 출처 및 참고 자료

• Python greenlet documentation.
• Gevent Performance Analysis.
• Computer Systems.