728x90
파이썬의 asyncio 라이브러리는 싱글 스레드 환경에서도 수만 개의 동시 연결을 처리할 수 있는 강력한 성능을 제공하며, 현대 백엔드 아키텍처의 핵심 기술로 자리 잡았습니다. 하지만 비동기 코드를 작성하다 보면 무심코 전통적인 동기식 라이브러리(예: requests, time.sleep())를 섞어 쓰는 실수를 범하곤 합니다. 비동기 컨텍스트 내부에서 단 하나의 블로킹(Blocking) 함수라도 호출되는 순간, 비동기 프로그래밍이 제공하던 모든 장점은 물거품이 되고 시스템은 심각한 성능 위기에 직면하게 됩니다.
본 포스팅에서는 비동기 시스템의 심장인 이벤트 루프(Event Loop)가 블로킹 함수에 의해 어떻게 마비되는지 그 내부 메커니즘을 심층 분석합니다. 또한 블로킹 함수 사용으로 인해 발생하는 3가지 치명적인 문제를 구체적인 수치와 함께 제시하고, 이를 우회하여 진정한 비동기 성능을 확보하기 위한 7가지 이상의 실무 해결 전략을 제공합니다.
1. 이벤트 루프 마비 메커니즘: 동기 vs 비동기 함수 차이
블로킹 함수의 문제를 이해하려면 먼저 asyncio가 작동하는 협력적 멀티태스킹(Cooperative Multitasking) 방식을 이해해야 합니다. 비동기 함수는 실행 중 I/O 대기가 필요하면 await를 통해 제어권을 이벤트 루프에 자발적으로 반납합니다. 하지만 블로킹 함수는 CPU를 끝까지 붙잡고 놓아주지 않습니다.
| 분석 항목 | 비동기(Non-blocking) 함수 (예: aiohttp.get) |
동기(Blocking) 함수 (예: requests.get) |
|---|---|---|
| 작동 메커니즘 | I/O 대기 시 루프에 제어권 양보 (Yield) | 작업 완료 시까지 CPU 스레드 점유 (Hold) |
| 이벤트 루프 상태 | 계속 돌며 다른 태스크 처리 가능 (Alive) | 해당 함수가 끝날 때까지 멈춤 (Frozen) |
| 동시성(Concurrency) | 싱글 스레드 내에서 수천 개 병렬 처리 | 동시 처리 불가 (순차 실행됨) |
| 성능 저하 영향 | 없음 (비동기 아키텍처의 기본) | 전체 시스템 마비 (치명적) |
| 호출 방법 | await async_func() |
sync_func() (직접 호출) |
2. 블로킹 함수 사용 시 발생하는 3가지 치명적 문제
비동기 루프 안에서 블로킹 코드가 실행될 때 시스템이 겪게 되는 현실적인 고통입니다.
- 전체 태스크 정지 (Stop-the-World): 이벤트 루프가 블로킹 함수를 처리하느라 멈춰버리기 때문에, 대기 중이던 수천 개의 다른 비동기 코루틴(네트워크 요청, DB 쿼리 등)이 모두 대기 상태에 빠집니다. 하나의 요청이 블로킹되면 서버 전체의 응답이 멈춥니다.
- 비동기 라이브러리의 성능 몰락: FastAPI나 Sanic 같은 고성능 비동기 프레임워크를 사용하더라도, 내부 로직에서 블로킹 함수를 쓰면 전통적인 WSGI(Django, Flask) 서버보다 훨씬 더 느린 성능을 보이게 됩니다. 오버헤드만 늘어날 뿐입니다.
- 타임아웃 및 연결 끊김 연쇄 반응: 루프가 멈춰있는 동안 외부 클라이언트나 다른 서비스와의 연결에서 타임아웃(Timeout)이 발생하기 시작합니다. 루프가 재개되었을 때는 이미 대기 큐가 폭발하여 시스템이 다운되는 연쇄 반응을 일으킵니다.
3. 실무 문제를 해결하기 위한 7가지 비동기 패턴 예제 (Sample Examples)
현업에서 마주치는 블로킹 코드 문제를 우회하고 비동기 아키텍처를 견고하게 만드는 실무 해결 전략들입니다.
Example 1: requests를 aiohttp로 교체하여 네트워크 블로킹 해결
가장 흔한 실수인 동기식 HTTP 요청을 비동기로 전환하는 방법입니다.
import asyncio
import requests # 절대 비동기 안에서 쓰면 안 됨!
import aiohttp
import time
URL = "https://httpbin.org/delay/1"
# [문제 상황] 블로킹 함수 사용
async def blocking_request():
print(f"[{time.strftime('%X')}] Requests Start")
# 여기서 루프가 1초 동안 멈춤
response = requests.get(URL)
print(f"[{time.strftime('%X')}] Requests End")
# [해결 방법] 비동기 라이브러리 사용
async def async_request():
print(f"[{time.strftime('%X')}] Aiohttp Start")
async with aiohttp.ClientSession() as session:
# await로 제어권을 루프에 양보하므로 루프는 멈추지 않음
async with session.get(URL) as response:
await response.text()
print(f"[{time.strftime('%X')}] Aiohttp End")
async def main():
# 블로킹 요청 3개를 동시에 시작해도 순차적으로 실행됨 (총 3초+)
# await asyncio.gather(blocking_request(), blocking_request(), blocking_request())
# 비동기 요청 3개는 동시에 실행됨 (총 1초+)
await asyncio.gather(async_request(), async_request(), async_request())
if __name__ == "__main__":
asyncio.run(main())
Example 2: time.sleep()을 asyncio.sleep()으로 교체
테스트나 지연 로직에서 루프를 멈추지 않고 대기하는 방법입니다.
async def bad_sleep():
# 루프를 얼려버림 (블로킹)
time.sleep(2)
async def good_sleep():
# 제어권을 양보하고 2초 후 재개됨 (Non-blocking)
await asyncio.sleep(2)
Example 3: run_in_executor를 이용한 CPU 집약적 작업 격리
이미지 처리나 복잡한 수치 연산처럼 비동기 버전이 없는 블로킹 코드를 별도 스레드/프로세스 풀에서 실행하여 루프 정지를 방지합니다.
from concurrent.futures import ThreadPoolExecutor
# 블로킹되는 CPU 연산 함수
def blocking_cpu_task(n):
sum = 0
for i in range(n * 10**6):
sum += i
return sum
async def main():
loop = asyncio.get_running_loop()
# [문제 해결] 스레드 풀 할당
with ThreadPoolExecutor() as pool:
print("Start CPU task...")
# 루프를 멈추지 않고 별도 스레드에서 연산 수행 후 결과 await
result = await loop.run_in_executor(pool, blocking_cpu_task, 10)
print(f"Result: {result}")
asyncio.run(main())
Example 4: blocking DB 드라이버를 비동기 드라이버로 전환 (예: asyncpg)
PostgreSQL 데이터를 읽을 때 psycopg2 대신 asyncpg를 사용하여 I/O 병목을 해결합니다.
import asyncpg
async def fetch_db_data():
# 비동기 전용 드라이버를 사용하여 DB I/O 동안 루프가 다른 작업 처리
conn = await asyncpg.connect(user='user', password='password', database='db', host='127.0.0.1')
values = await conn.fetch('''SELECT * FROM large_table''')
await conn.close()
return values
Example 5: 비동기 루프 내부에서 File I/O 해결 (aiofiles)
기본 open() 함수는 블로킹 I/O입니다. 대용량 파일 처리 시 aiofiles를 사용합니다.
import aiofiles
async def read_large_file(filename):
# 파일 읽기 동작을 비동기로 처리
async with aiofiles.open(filename, mode='r') as f:
contents = await f.read()
return contents
Example 6: 비동기 이터레이터(Async Iterator)를 통한 대용량 스트리밍
블로킹 함수가 한꺼번에 거대한 데이터를 반환하여 메모리와 CPU를 점유하는 문제를 방지합니다.
async def async_generator(n):
for i in range(n):
await asyncio.sleep(0.1) # 데이터를 가져오는 비동기 작업 시뮬레이션
yield i
async def main():
# 데이터를 하나씩 비동기로 스트리밍 받아 루프 정지 최소화
async for data in async_generator(10):
print(data)
Example 7: 이벤트 루프 디버그 모드로 블로킹 코드 탐지하기
실무에서 어떤 코드가 루프를 멈추게 하는지 찾아내기 위한 설정입니다.
import asyncio
import logging
import time
# [문제 해결 전략] 디버그 로그 활성화
logging.basicConfig(level=logging.WARNING)
def slow_sync_function():
time.sleep(0.5) # 0.5초 루프 정지
async def main():
loop = asyncio.get_running_loop()
# 이벤트 루프 디버그 모드 켜기
loop.set_debug(True)
# 0.1초 이상 루프를 점유하는 콜백이 있으면 경고 로그 출력
loop.slow_callback_duration = 0.1
print("Executing slow function...")
# 비동기 루프 안에서 실수로 동기 함수 호출
slow_sync_function()
print("Done.")
# WARNING:asyncio:Executing took 0.501 seconds 로그가 출력됨
if __name__ == "__main__":
asyncio.run(main())
4. 최종 가이드: 비동기 성능 확보를 위한 아키텍처 선택 원칙
- Golden Rule: 비동기 코드 내부에서 호출되는 *모든* 함수는 비동기 함수(
async def)이거나 오버헤드가 거의 없는 순수 연산이어야 합니다. - 라이브러리 선택: 항상 비동기 버전의 라이브러리(
aiohttp,asyncpg,aiofiles,motor등)가 존재하는지 먼저 확인하십시오. - 최후의 수단: 비동기 버전이 없는 기존 동기 라이브러리나 CPU 집약적인 연산은 반드시
run_in_executor를 통해 스레드나 프로세스 풀로 격리해야 합니다.
5. 내용의 출처 및 기술 참조
- Python Software Foundation. "multiprocessing — Process-based parallelism." Python Docs.
- David Beazley. "Understanding the Python GIL." PyCon Talk Series.
- Fluent Python: Clear, Concise, and Effective Programming by Luciano Ramalho.
- High Performance Python by Micha Gorelick and Ian Ozsvald.
- FastAPI Documentation - "Async and await".
728x90
