[PYTHON] Triton Inference Server로 구현하는 3가지 멀티 모델 서빙 전략과 병목 현상 해결 방법

Triton Inference Server

 

AI 모델이 연구실을 넘어 실무 서비스에 적용되면서, 단일 모델을 넘어 수십, 수백 개의 모델을 효율적으로 관리하고 배포하는 멀티 모델 서빙(Multi-Model Serving)의 중요성이 대두되고 있습니다. 특히 Python 기반의 딥러닝 프레임워크인 PyTorch, TensorFlow, ONNX 등을 혼합하여 사용하는 환경에서는 인프라 복잡도가 기하급수적으로 증가합니다. NVIDIA의 Triton Inference Server는 이러한 복잡성을 해결하고 GPU 유틸라이제이션을 극대화할 수 있는 강력한 오픈소스 도구입니다. 본 글에서는 Python 환경에서 Triton을 활용하여 멀티 모델을 서빙할 때 발생하는 성능 저하를 방지하고, 리소스를 최적화하는 3가지 핵심 전략을 심층적으로 다룹니다.

---

1. 왜 Triton Inference Server인가?

기본적인 Flask나 FastAPI 기반의 서빙은 구현이 쉽지만, 대규모 트래픽이 발생하는 운영 환경에서는 GIL(Global Interpreter Lock)과 큐잉 관리의 한계로 인해 GPU 효율이 급격히 떨어집니다. Triton은 C++ 기반의 고성능 코어를 바탕으로 다음과 같은 독보적인 장점을 제공합니다.

• 프레임워크 무관: TensorRT, PyTorch, TensorFlow, ONNX, 심지어 일반 Python 스크립트(Python Backend)까지 동시에 실행 가능합니다.
• 동적 배치(Dynamic Batching): 서로 다른 시점에 들어온 요청을 하나로 묶어 GPU 연산 효율을 극대화합니다.
• 모델 앙상블 및 파이프라인: 전처리-추론-후처리 과정을 하나의 파이프라인으로 묶어 데이터 전송 오버헤드를 최소화합니다.

---

2. 멀티 모델 서빙 전략 비교 분석

서빙 환경의 요구사항에 따라 모델을 배치하는 방식은 달라져야 합니다. 아래 표는 실무에서 가장 많이 사용되는 3가지 전략을 비교한 결과입니다.

구분	단일 인스턴스 공유 방식	모델 컨트롤러 기반 방식	앙상블 및 스케줄링 방식
핵심 특징	하나의 Triton 서버에 여러 모델 로드	Model Control API로 온디맨드 로드	DAG 기반의 논리적 파이프라인 구성
장점	관리가 단순하고 초기 지연시간 적음	GPU 메모리 효율 극대화	복잡한 워크플로우 최적화
단점	메모리 부족(OOM) 위험 상존	모델 로딩 시 Cold Start 지연 발생	설정이 복잡하고 디버깅이 어려움
추천 상황	자주 호출되는 소수 정예 모델	사용 빈도가 낮은 롱테일(Long-tail) 모델	전처리가 복잡한 OCR, 추천 시스템

---

3. 실무 적용을 위한 7가지 실행 코드 (Example)

개발자가 즉시 배포 환경에 적용할 수 있도록 구성된 실무 코드 예제입니다.

Example 1: 기본 Model Repository 구조 설정

Triton은 특정 디렉토리 구조를 따릅니다. 이를 자동화하는 Python 스크립트 예시입니다.

import os

def create_model_repository(base_path, model_name, version=1):
    model_dir = os.path.join(base_path, model_name, str(version))
    os.makedirs(model_dir, exist_ok=True)
    print(f"Model repository created at: {model_dir}")

# 실행 예시
create_model_repository("./model_repository", "sentiment_model")

Example 2: Dynamic Batching을 포함한 config.pbtxt 작성

멀티 모델 환경에서 처리량을 2배 이상 높여주는 핵심 설정 파일 예시입니다.

name: "sentiment_model"
platform: "onnxruntime_onnx"
max_batch_size: 8
input [
  {
    name: "input_ids"
    data_type: TYPE_INT64
    dims: [ -1 ]
  }
]
output [
  {
    name: "output_0"
    data_type: TYPE_FP32
    dims: [ 2 ]
  }
]
dynamic_batching {
  preferred_batch_size: [ 4, 8 ]
  max_queue_delay_microseconds: 100
}

Example 3: Python Backend를 활용한 전처리 모델 구현

학습 시 사용한 Tokenizer를 Triton 내부에 통합하는 Python 코드입니다.

import triton_python_backend_utils as pb_utils
import numpy as np

class TritonPythonModel:
    def initialize(self, args):
        self.model_config = pb_utils.get_model_config_parse_results(args['model_config'])

    def execute(self, requests):
        responses = []
        for request in requests:
            # 입력 데이터 추출
            in_0 = pb_utils.get_input_tensor_by_name(request, "RAW_TEXT")
            text = in_0.as_numpy()[0].decode('utf-8')
            
            # 간단한 전처리 로직 (예: 소문자화)
            processed_text = np.array([text.lower()], dtype=np.object_)
            
            out_tensor = pb_utils.Tensor("PROCESSED_TEXT", processed_text)
            responses.append(pb_utils.InferenceResponse([out_tensor]))
        return responses

Example 4: Model Control API를 활용한 동적 로딩 (Python Client)

메모리가 부족할 때 특정 모델을 내리고 새 모델을 올리는 제어 코드입니다.

import tritonclient.http as httpclient

client = httpclient.InferenceServerClient(url="localhost:8000")

# 모델 로드
client.load_model("heavy_vision_model")

# 모델 상태 확인
if client.is_model_ready("heavy_vision_model"):
    print("Model is ready to serve!")

# 사용 완료 후 언로드 (메모리 확보)
client.unload_model("heavy_vision_model")

Example 5: Ensemble 모델 구성을 위한 파이프라인 정의

전처리 모델과 추론 모델을 하나로 묶는 앙상블 설정 방법입니다.

name: "pipeline_model"
platform: "ensemble"
max_batch_size: 1
ensemble_scheduling {
  step [
    {
      model_name: "preprocess_model"
      model_version: -1
      input_map { key: "RAW_TEXT", value: "INPUT_0" }
      output_map { key: "PROCESSED_TEXT", value: "intermediate_tensor" }
    },
    {
      model_name: "inference_model"
      model_version: -1
      input_map { key: "INPUT_IDS", value: "intermediate_tensor" }
      output_map { key: "LOGITS", value: "OUTPUT_0" }
    }
  ]
}

Example 6: gRPC를 이용한 고성능 추론 요청 (Async)

HTTP보다 빠른 gRPC 비동기 통신을 통해 멀티 모델 병목을 해결합니다.

import tritonclient.grpc.aio as grpcclient

async def main():
    client = grpcclient.InferenceServerClient(url="localhost:8001")
    inputs = [grpcclient.InferInput("input_ids", [1, 128], "INT64")]
    inputs[0].set_data_from_numpy(np.zeros([1, 128], dtype=np.int64))
    
    # 비동기 요청
    response = await client.infer("sentiment_model", inputs)
    result = response.as_numpy("output_0")
    print(result)

Example 7: GPU 메모리 모니터링 및 자동 스케일링 준비

Triton의 Metrics API(Prometheus 포맷)를 파싱하여 모델별 부하를 체크하는 예시입니다.

import requests

def get_triton_metrics():
    response = requests.get("http://localhost:8002/metrics")
    metrics = response.text
    # nv_inference_request_success 같은 지표를 추출하여
    # 모델별 트래픽 분석 및 오토스케일링 로직에 활용 가능합니다.
    return metrics

print(get_triton_metrics())

---

4. 결론: 효율적인 멀티 모델 서빙을 위한 로드맵

Triton Inference Server는 단순한 서버가 아니라 모델 운영의 핵심 엔진입니다. 동적 배치(Dynamic Batching)를 통해 GPU 처리량을 확보하고, 앙상블(Ensemble)을 통해 데이터 이동 비용을 줄이며, Model Control API를 통해 인프라 비용을 절감하는 전략이 필요합니다. 특히 대규모 서비스에서는 모델의 개수가 늘어남에 따라 공유 메모리(Shared Memory) 활용법과 Rate Limiter 설정을 통해 특정 모델이 자원을 독점하지 않도록 관리하는 것이 운영의 핵심입니다.

---

내용 출처 및 참고 문헌

• NVIDIA Triton Inference Server Documentation
• NVIDIA Triton GitHub Repository
• Efficient Deep Learning Operations (2024), O'Reilly Media.