[PYTHON] API 속도 제한(Rate Limiting) 구현을 위한 3가지 알고리즘과 해결 방법

API 속도 제한(Rate Limiting)

 

디지털 자산인 데이터를 보호하고 서버 리소스를 효율적으로 관리하기 위해 API 속도 제한(Rate Limiting)은 백엔드 설계의 핵심적인 방어 기제입니다. 무분별한 크롤링, DoS 공격, 혹은 특정 사용자의 실수로 인한 과도한 요청은 시스템 전체의 가용성을 떨어뜨립니다. 오늘 이 글에서는 파이썬 환경에서 전문적인 미들웨어를 설계하는 방법과 기술적인 차이를 심층적으로 분석하여, 서비스 안정성을 확보하는 최적의 해결책을 제시합니다.

---

1. API 속도 제한이 필수적인 이유와 아키텍처적 가치

Rate Limiting은 단순히 요청을 막는 것이 아니라, 공정성(Fairness)을 보장하는 기술입니다. 모든 사용자가 동일한 품질의 서비스를 이용할 수 있도록 자원을 분배하며, 시스템이 처리할 수 있는 한계치(Throughput)를 넘지 않도록 제어합니다.

구분	설명	기대 효과
보안 강화	무차별 대입 공격(Brute Force) 및 DoS 방어	서비스 가용성 유지 및 인프라 보호
비용 최적화	클라우드 리소스 소모량 제어	인프라 운영 비용 절감
데이터 보호	무단 크롤링 및 데이터 스크래핑 제한	비즈니스 모델 및 유료 데이터 보호
공정한 리소스 분배	특정 사용자의 독점 방지	전체 사용자 경험(UX) 향상

---

2. Rate Limiting을 위한 주요 알고리즘 3가지 차이점

미들웨어를 설계하기 전, 비즈니스 로직에 가장 적합한 알고리즘을 선택하는 것이 중요합니다.

(1) Token Bucket (토큰 버킷)

가장 범용적인 알고리즘입니다. 일정한 속도로 토큰이 채워지는 버킷을 두고, 요청이 올 때마다 토큰을 하나씩 소모합니다. 트래픽의 일시적인 폭증(Burst)을 허용한다는 장점이 있습니다.

(2) Fixed Window Counter (고정 윈도우 카운터)

정해진 시간(예: 1분) 동안 요청 횟수를 카운트합니다. 구현이 매우 간단하지만, 윈도우의 경계 시간대(예: 59초와 01초 사이)에 요청이 몰릴 경우 설정값의 두 배에 달하는 트래픽이 유입될 수 있는 문제가 있습니다.

(3) Sliding Window Log (슬라이딩 윈도우 로그)

각 요청의 타임스탬프를 로그로 남겨 실시간으로 최근 1분간의 빈도를 계산합니다. 매우 정교하지만 로그 저장에 따른 메모리 소모가 크다는 단점이 있습니다.

---

3. 파이썬 기반 Redis 활용 미들웨어 설계 해결 방법

분산 환경(Multiple API Nodes)에서 속도 제한을 구현하려면 서버 메모리가 아닌 Redis와 같은 외부 저장소를 활용해야 합니다. Redis의 INCR와 EXPIRE 명령어를 조합하여 원자성(Atomicity)을 보장하는 것이 핵심입니다.

설계 포인트

• 식별자 추출: API Key, User ID, 혹은 IP Address 중 무엇을 기준으로 제한할지 정의합니다.
• HTTP 상태 코드: 제한 초과 시 429 Too Many Requests를 반환하고, Retry-After 헤더를 포함합니다.
• 비동기 처리: 성능 저하를 막기 위해 FastAPI나 Starlette의 비동기 미들웨어 패턴을 사용합니다.

---

4. [Sample Example] FastAPI와 Redis를 활용한 미들웨어 예제

다음은 실제 서비스에 적용 가능한 수준의 파이썬 기반 속도 제한 미들웨어 샘플 코드입니다.

import time
from fastapi import FastAPI, Request, HTTPException
from starlette.responses import JSONResponse
import aioredis

app = FastAPI()
redis = aioredis.from_url("redis://localhost", encoding="utf-8", decode_responses=True)

RATE_LIMIT = 5  # 1분당 최대 5회 요청 가능
WINDOW_SIZE = 60 # 60초

@app.middleware("http")
async def rate_limit_middleware(request: Request, call_next):
    # 클라이언트 IP 식별
    client_ip = request.client.host
    key = f"rate_limit:{client_ip}"
    
    # 현재 요청 횟수 확인 및 증가
    current_count = await redis.get(key)
    
    if current_count and int(current_count) >= RATE_LIMIT:
        # 제한 초과 시 429 에러 반환
        return JSONResponse(
            status_code=429,
            content={"detail": "Too many requests. Please try again later."},
            headers={"Retry-After": str(WINDOW_SIZE)}
        )
    
    # Redis 카운트 업데이트 (원자적 실행을 위해 파이프라인 고려 가능)
    if not current_count:
        await redis.set(key, 1, ex=WINDOW_SIZE)
    else:
        await redis.incr(key)
        
    response = await call_next(request)
    return response

@app.get("/")
async def index():
    return {"message": "Welcome to Secured API"}

---

5. 전문적인 운영을 위한 최적화 제언

단순한 카운팅을 넘어 실제 엔터프라이즈 환경에서는 다음과 같은 고도화가 필요합니다.

1. Tiered Rate Limiting: 유료 구독자와 무료 사용자에게 다른 제한 수치(Quota)를 부여합니다.
2. Whitelist/Blacklist: 신뢰할 수 있는 내부 서비스 IP는 제한에서 제외하고, 악의적인 IP는 영구 차단합니다.
3. Fallback 전략: Redis 장애 시 모든 요청을 차단할 것인지, 아니면 제한 없이 허용할 것인지(Fail-open vs Fail-close) 결정해야 합니다.

---

6. 내용의 출처 및 참고 자료

• Redis Official Patterns: "Rate Limiter" documentation.
• FastAPI Middleware Documentation - Starlette integration.
• Google Cloud Architecture Framework: "API security and management".
• RFC 6585: "Additional HTTP Status Codes" (Section 4: 429 Too Many Requests).