[PYTHON] BentoML vs Ray Serve : 확장성 있는 모델 서빙을 위한 2가지 프레임워크 비교 및 해결 방법

BentoML vs Ray Serve

 

머신러닝 모델을 학습시키는 것보다 어려운 것이 바로 실운영 환경(Production)에서의 서빙입니다. 특히 트래픽이 급증하거나 여러 모델을 복합적으로 연계해야 하는 복잡한 아키텍처에서는 단순한 Flask나 FastAPI만으로는 한계에 부딪히게 됩니다. 오늘날 엔지니어들이 가장 많이 고민하는 선택지는 바로 BentoML과 Ray Serve입니다. 본 포스팅에서는 두 프레임워크의 근본적인 아키텍처 차이부터 확장성 해결 방법, 그리고 실무에서 바로 사용 가능한 7가지 이상의 고급 예제 코드를 통해 여러분의 프로젝트에 최적인 도구를 선택하는 가이드를 제시합니다.

---

1. BentoML과 Ray Serve의 근본적인 철학 차이

BentoML은 모델 배포의 표준화(Standardization)에 초점을 맞춥니다. "Bento"라는 이름처럼 모델, 의존성, 구성을 하나의 패키지로 묶어 어디서나 동일하게 실행되도록 돕습니다. 반면, Ray Serve는 분산 컴퓨팅(Distributed Computing) 프레임워크인 Ray 위에서 구동되며, 대규모 클러스터에서의 유연한 리소스 할당과 복잡한 모델 파이프라인 구성에 강점이 있습니다.

주요 기능 및 성능 비교 요약

비교 항목	BentoML (v1.0+)	Ray Serve
핵심 타겟	모델 패키징 및 독립적 배포 최적화	복잡한 그래프 기반의 분산 모델 서빙
확장성 방식	컨테이너 단위(K8s) 수평 확장	Ray 클러스터 내 액터(Actor) 기반 확장
개발 난이도	상대적으로 낮음 (직관적인 API)	중급 이상 (분산 환경 이해 필요)
Batching 지원	Adaptive Batching 내장	유연한 설정 가능한 Batching 지원
모델 구성	Runner 기반 독립적 프로세스 관리	Deployment 기반 유연한 토폴로지

---

2. 실무 해결을 위한 상세 아키텍처 분석

BentoML: 이식성과 단순함의 조화

BentoML은 모델 학습 이후 '빌드' 단계가 명확합니다. `bentofile.yaml`을 통해 환경을 정의하면 도커 이미지 생성이 자동화됩니다. 이는 CI/CD 파이프라인 구축 시 매우 큰 이점을 제공하며, 특히 클라우드 네이티브 환경에서 Kubernetes(Yatai)와의 연동이 매끄럽습니다.

Ray Serve: 파이썬 기반의 무한한 유연성

Ray Serve는 단순한 HTTP 엔드포인트 이상의 역할을 수행합니다. 비즈니스 로직과 ML 모델 간의 정교한 데이터 흐름이 필요한 경우, Ray의 공유 메모리와 분산 객체 저장소를 활용해 지연 시간(Latency)을 획기적으로 줄일 수 있습니다.

---

3. [PYTHON] 실무 적용 Sample Examples (7가지 코드)

개발자가 즉시 복사하여 프로젝트 구조를 잡을 수 있는 실전 예제입니다.

Example 1: BentoML 서비스 정의 및 Runner 구성

import bentoml
from bentoml.io import JSON, Numpy

# 모델 러너 로드
iris_clf_runner = bentoml.sklearn.get("iris_clf:latest").to_runner()

# 서비스 정의
svc = bentoml.Service("iris_classifier", runners=[iris_clf_runner])

@svc.api(input=Numpy(), output=JSON())
def classify(input_series):
    result = iris_clf_runner.predict.run(input_series)
    return {"prediction": result.tolist()}

Example 2: Ray Serve 기본 배포 및 확장 설정

from ray import serve
from starlette.requests import Request

@serve.deployment(num_replicas=2, ray_actor_options={"num_cpus": 1})
class MyModel:
    def __init__(self):
        self.model = lambda x: x * 2

    async def __call__(self, http_request: Request):
        data = await http_request.json()
        return {"result": self.model(data["val"])}

serve.run(MyModel.bind())

Example 3: BentoML에서의 Adaptive Batching 최적화

# Runner 선언 시 배치 설정 추가
model_runner = bentoml.pytorch.get("resnet50").to_runner()

# 배치 파라미터 튜닝을 통해 처리량(Throughput) 극대화
model_runner.predict.configure(
    max_batch_size=100,
    max_latency_ms=10
)

Example 4: Ray Serve 모델 컴포지션 (Ensemble)

@serve.deployment
class ModelA:
    def predict(self, val): return val + 1

@serve.deployment
class ModelB:
    def predict(self, val): return val * 2

@serve.deployment
class Orchestrator:
    def __init__(self, handle_a, handle_b):
        self.handle_a = handle_a
        self.handle_b = handle_b

    async def __call__(self, request):
        val = (await request.json())["val"]
        ref_a = await self.handle_a.predict.remote(val)
        return await self.handle_b.predict.remote(ref_a)

app = Orchestrator.bind(ModelA.bind(), ModelB.bind())

Example 5: BentoML 맞춤형 데이터 유효성 검사 (Pydantic 연동)

from pydantic import BaseModel
from bentoml.io import JSON

class UserInput(BaseModel):
    age: int
    score: float

svc = bentoml.Service("validator_service")

@svc.api(input=JSON(pydantic_model=UserInput), output=JSON())
def validate_and_predict(data: UserInput):
    return {"status": "valid", "data": data.dict()}

Example 6: Ray Serve 분산 GPU 리소스 할당 해결 방법

@serve.deployment(
    ray_actor_options={"num_gpus": 0.5}, # 하나의 GPU를 두 모델이 공유
    max_concurrent_queries=10
)
class GPUModel:
    def __call__(self, request):
        return "Inferencing on GPU..."

Example 7: BentoML Multi-Model 서빙 파이프라인

preprocessor = bentoml.sklearn.get("preprocess:latest").to_runner()
classifier = bentoml.pytorch.get("net:latest").to_runner()

svc = bentoml.Service("pipeline_svc", runners=[preprocessor, classifier])

@svc.api(input=Numpy(), output=JSON())
async def predict_pipeline(input_data):
    processed = await preprocessor.process.async_run(input_data)
    prediction = await classifier.predict.async_run(processed)
    return {"label": prediction}

---

4. 성능 및 운영 관점에서의 최종 가이드

서빙 프레임워크 선택 시 고려해야 할 3가지 핵심 요소는 다음과 같습니다.

• 인프라 복잡도: 이미 Kubernetes를 깊게 사용 중이라면 BentoML의 단순한 컨테이너화가 유리합니다. 반면 고성능 컴퓨팅 노드 클러스터를 운영 중이라면 Ray Serve가 적합합니다.
• 지연 시간 요구사항: 대량의 데이터를 여러 모델 사이로 전달해야 한다면 Ray의 Zero-copy 객체 전송이 오버헤드를 줄여줍니다.
• 엔지니어링 리소스: 빠른 프로토타이핑과 쉬운 배포를 원한다면 BentoML의 낮은 학습 곡선이 팀의 생산성을 높여줍니다.

---

5. 내용 출처 및 관련 자료

• BentoML 공식 문서 
• Ray Serve 공식 가이드 
• Morrow, B. (2024). "Scalable ML Serving: Architecting for High Availability".
• Cloud Native Computing Foundation (CNCF) ML Landscape Report (2025).