[PYTHON] 머신러닝 모델을 REST API로 배포하는 7가지 방법과 성능 해결 차이점 분석

REST API

 

인공지능 모델을 학습시키는 것보다 더 중요한 것은, 학습된 모델을 실제 서비스 환경에서 사용자가 이용할 수 있도록 "서빙(Serving)"하는 것입니다. 파이썬(Python) 생태계는 이를 위해 Flask, FastAPI, Django와 같은 전통적인 웹 프레임워크부터 Ray Serve, BentoML과 같은 전문 서빙 도구까지 다양한 선택지를 제공합니다. 본 가이드에서는 단순한 'Hello World' 수준을 넘어, 실무 현장에서 모델 결과값의 지연 시간(Latency)을 줄이고 처리량(Throughput)을 극대화하여 API 형태로 반환하는 구체적인 전략을 다룹니다.

---

1. 모델 서빙 프레임워크별 핵심 차이점 및 선택 기준

프로젝트의 규모와 요구사항에 따라 적절한 도구를 선택하는 것이 첫 번째 단계입니다. 각 프레임워크의 특징을 비교 분석해 보겠습니다.

프레임워크	주요 특징	비동기 지원	적합한 프로젝트 규모	장점/단점
FastAPI	Pydantic 기반 유효성 검사	완전 지원 (Async/Await)	중대형 서비스	매우 빠름 / 학습 곡선 중간
Flask	가볍고 직관적인 구조	제한적 (WSGI 기반)	프로토타입 / 소규모	풍부한 커뮤니티 / 확장성 부족
Ray Serve	분산 환경 최적화	멀티 노드 지원	엔터프라이즈 / 클러스터	확장성 최고 / 인프라 복잡도
BentoML	모델 패키징 특화	배치 처리 지원	운영 효율 중심	배포 자동화 우수 / 자유도 낮음

---

2. 실무 적용을 위한 API 구현 Sample Example (7가지 전략)

다음은 실제 개발 환경에서 머신러닝 모델(Pickle, ONNX, PyTorch 등)을 API로 노출할 때 즉시 사용 가능한 코드 예시입니다.

Example 1: FastAPI를 이용한 초고속 비동기 API 구현

현대적인 AI 서비스에서 가장 선호되는 방식입니다. 비동기 처리를 통해 다수의 요청을 동시에 처리합니다.

from fastapi import FastAPI
from pydantic import BaseModel
import joblib
import numpy as np

app = FastAPI()

# 모델 미리 로드 (서버 시작 시 1회 수행)
model = joblib.load("my_model.pkl")

class InputData(BaseModel):
    features: list[float]

@app.post("/predict")
async def predict(data: InputData):
    # 입력 데이터를 넘파이 배열로 변환
    input_array = np.array(data.features).reshape(1, -1)
    prediction = model.predict(input_array)
    return {"result": int(prediction[0]), "status": "success"}
    

Example 2: Flask와 Gunicorn을 활용한 안정적인 모델 서빙

가장 범용적인 방식으로, 대규모 트래픽 처리를 위해 Gunicorn(WSGI)과 결합하여 사용합니다.

from flask import Flask, request, jsonify
import pickle

app = Flask(__name__)
with open('model.pkl', 'rb') as f:
    model = pickle.load(f)

@app.route('/v1/predict', methods=['POST'])
def serve_model():
    data = request.get_json()
    prediction = model.predict([data['inputs']])
    return jsonify({'prediction': prediction.tolist()})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)
    

Example 3: 대용량 처리를 위한 배치(Batch) 처리 로직 해결

개별 요청을 모아 한꺼번에 추론(Inference)함으로써 GPU 활용도를 높이는 전략입니다.

# BentoML 스타일의 배치 서빙 예시
import bentoml
from bentoml.io import JSON

runner = bentoml.sklearn.get("my_model:latest").to_runner()
svc = bentoml.Service("prediction_service", runners=[runner])

@svc.api(input=JSON(), output=JSON())
async def classify(input_data):
    # runner가 내부적으로 마이크로 배칭을 처리함
    result = await runner.predict.async_run(input_data)
    return {"label": result}
    

Example 4: ONNX Runtime을 통한 이종 모델 API 통합

프레임워크에 상관없이 ONNX 형식으로 변환된 모델을 실행하여 속도를 최적화합니다.

import onnxruntime as ort
from fastapi import FastAPI

app = FastAPI()
session = ort.InferenceSession("model.onnx")

@app.get("/onnx_predict")
def onnx_predict(val: float):
    input_name = session.get_inputs()[0].name
    res = session.run(None, {input_name: [[val]]})
    return {"onnx_output": res[0].tolist()}
    

Example 5: 데이터 유효성 검사 및 에러 핸들링 API

잘못된 입력값으로 인해 서버가 중단되는 문제를 해결하는 견고한 API 구조입니다.

from fastapi import HTTPException

@app.post("/secure_predict")
async def secure_predict(data: InputData):
    if len(data.features) != 10:
        raise HTTPException(status_code=400, detail="Feature length must be 10")
    try:
        res = model.predict([data.features])
        return {"prediction": res[0]}
    except Exception as e:
        return {"error": str(e)}
    

Example 6: PyTorch 모델 가속을 위한 TorchServe 활용

딥러닝 모델 전용 서빙 도구를 사용하여 멀티 모델 관리 및 버전 제어를 수행합니다.

# 터미널에서 실행하는 구성 예시 (Handler 작성 후)
# torch-model-archiver를 사용하여 .mar 파일 생성
# torchserve --start --model-store model_store --models densenet161=densenet161.mar
    

Example 7: 다중 모델 앙상블 서빙 API

여러 모델의 결과를 조합하여 최종 응답을 반환하는 고도화된 API 형태입니다.

@app.post("/ensemble")
async def ensemble_predict(data: InputData):
    res1 = model_a.predict_proba([data.features])
    res2 = model_b.predict_proba([data.features])
    
    # 두 모델 결과의 평균값(Soft Voting) 반환
    final_res = (res1 + res2) / 2
    return {"ensemble_score": final_res.tolist()}
    

---

3. 성능 최적화 및 문제 해결 전략

단순히 API를 띄우는 것과 실제 상용 수준의 API는 다릅니다. 다음은 발생 가능한 문제와 그 해결 방법입니다.

• Cold Start 문제: API 요청 시 모델을 로드하면 매우 느려집니다. 반드시 전역 변수나 싱글톤 패턴을 사용하여 서버 가동 시 메모리에 모델을 적재해야 합니다.
• 병목 현상: Python의 GIL(Global Interpreter Lock) 때문에 CPU 연산이 많은 모델은 성능이 저하될 수 있습니다. 이를 해결하기 위해 Multiprocessing 기반의 Worker(Gunicorn 등)를 사용하거나 비동기 프레임워크를 적극 도입해야 합니다.
• 직렬화 오버헤드: 대형 이미지를 주고받을 때 JSON은 비효율적입니다. Base64 인코딩 혹은 Binary 전송 방식을 고려하십시오.

---

4. 결론: 어떤 방식을 선택해야 하는가?

결과적으로 비즈니스의 목표에 따라 답은 달라집니다.

• 빠른 개발과 가독성: FastAPI가 현재로서는 최선의 선택입니다.
• 대규모 분산 처리: Ray Serve를 도입하여 쿠버네티스 환경에 대응하십시오.
• 기존 레거시 인프라: Flask를 사용하되 최적화된 WSGI 설정을 추가하십시오.

 

참고 문헌 및 출처:

• FastAPI Documentation 
• BentoML Official Guide 
• Ray Serve Core Concepts
• Scikit-learn Model Persistence