거대 언어 모델(LLM)을 서비스할 때 가장 큰 병목 지점은 바로 KV 캐시(Key-Value Cache) 메모리 관리입니다. 기존의 서빙 방식은 시퀀스 길이를 미리 할당하여 메모리 낭비가 심하고 처리량이 낮았습니다. 본 포스팅에서는 운영체제의 가상 메모리 개념을 도입하여 이 문제를 혁신적으로 해결한 vLLM의 PagedAttention 원리를 심층 분석하고, 실무에서 즉시 활용 가능한 7가지 방법과 차이점을 상세히 다룹니다.
1. LLM 서빙의 고질적 문제: 메모리 파편화와 낭비
LLM 추론 과정에서 이전 토큰들의 연산 결과인 KV 캐시는 GPU 메모리에 저장됩니다. 일반적인 서빙 프레임워크는 최악의 상황(최대 시퀀스 길이)을 가정하여 메모리를 연속적으로 할당합니다. 이로 인해 실제 사용되지 않는 '내부 파편화(Internal Fragmentation)'와 메모리 부족으로 인해 새로운 요청을 받지 못하는 성능 저하가 발생합니다. vLLM은 이를 해결하기 위해 메모리를 물리적으로 연속되지 않은 '페이지' 단위로 관리하는 PagedAttention 기술을 제안했습니다.
2. 기존 방식 vs PagedAttention(vLLM) 핵심 차이 비교
메모리 점유율과 처리량 측면에서 두 방식이 갖는 기술적 차이를 분석한 표입니다.
| 비교 항목 | 기본적인 시퀀스 서빙 (HuggingFace 등) | vLLM (PagedAttention) |
|---|---|---|
| 메모리 할당 방식 | 연속적 고정 크기 할당 (Static) | 동적 페이지 단위 할당 (Dynamic) |
| 메모리 활용률 | 약 20% ~ 40% (파편화 심함) | 95% 이상 (거의 완전 활용) |
| 처리량 (Throughput) | 낮음 (Batch Size 제한적) | 2~4배 향상 (High Concurrency) |
| KV 캐시 공유 | 불가능 (복사 필요) | 가능 (Copy-on-Write 지원) |
| 주요 해결 과제 | 서빙 비용 최소화 불가 | GPU 자원 효율 극대화 및 서빙 단가 절감 |
3. vLLM 실무 적용을 위한 7가지 파이썬 구현 및 최적화 예제
vLLM 라이브러리를 사용하여 실제 프로덕션 환경에서 추론 가속을 구현하는 7가지 핵심 방법입니다.
Example 1: vLLM 오프라인 추론 기본 설정
가장 단순하게 모델을 로드하고 PagedAttention의 이점을 활용하여 대량의 텍스트를 처리하는 예제입니다.
from vllm import LLM, SamplingParams
# 1. 모델 로드 (PagedAttention이 자동으로 메모리 관리)
llm = LLM(model="facebook/opt-125m", trust_remote_code=True)
# 2. 샘플링 파라미터 설정
sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=100)
# 3. 대량의 프롬프트 배치 처리
prompts = ["PagedAttention의 원리는?", "Python 추론 가속 방법은?"]
outputs = llm.generate(prompts, sampling_params)
for output in outputs:
print(f"Prompt: {output.prompt} -> Generated: {output.outputs[0].text}")
Example 2: GPU 메모리 점유율(gpu_memory_utilization) 조정
다른 프로세스와 GPU를 공유해야 할 때, vLLM이 선점할 메모리 비율을 설정하여 충돌을 해결합니다.
# 기본값은 0.9입니다. 메모리가 부족한 환경에서는 이를 조정하십시오.
llm = LLM(
model="lmsys/vicuna-7b-v1.5",
gpu_memory_utilization=0.7, # 70%만 vLLM에 할당
max_model_len=4096
)
Example 3: 분산 추론을 위한 Tensor Parallelism(TP) 적용
70B 이상의 거대 모델을 여러 GPU에 분산하여 PagedAttention 성능을 극대화하는 방법입니다.
# tensor_parallel_size를 GPU 개수에 맞춰 설정합니다.
llm = LLM(
model="meta-llama/Llama-2-70b-hf",
tensor_parallel_size=4 # 4개의 GPU에 모델 병렬화 적용
)
Example 4: OpenAI 호환 서버 구축 및 비동기 처리
FastAPI 기반의 서버를 실행하여 외부 API 요청을 동시 다발적으로 처리하는 실무적인 접근입니다.
# 터미널에서 실행 시:
# python -m vllm.entrypoints.openai.api_server --model huggyllama/llama-7b
import requests
def call_vllm_api(prompt):
url = "http://localhost:8000/v1/completions"
payload = {
"model": "huggyllama/llama-7b",
"prompt": prompt,
"max_tokens": 50
}
return requests.post(url, json=payload).json()
Example 5: LoRA(Low-Rank Adaptation) 어댑터 동적 로딩
하나의 베이스 모델에 여러 LoRA 어댑터를 PagedAttention 환경에서 효율적으로 서빙하는 기법입니다.
from vllm.lora.request import LoRARequest
# LoRA 지원 활성화
llm = LLM(model="base_model_path", enable_lora=True)
# 특정 요청에만 LoRA 적용
outputs = llm.generate(
"특정 도메인 질문",
sampling_params,
lora_request=LoRARequest("adapter_1", 1, "path/to/lora_adapter")
)
Example 6: Prefix Caching을 이용한 중복 프롬프트 가속
동일한 시스템 프롬프트나 맥락이 반복될 경우, 캐시된 페이지를 재사용하여 속도를 해결합니다.
# enable_prefix_caching을 True로 설정하면
# 공통된 접두사(Prefix)의 KV 캐시를 공유하여 메모리를 절약합니다.
llm = LLM(
model="mistralai/Mistral-7B-v0.1",
enable_prefix_caching=True
)
Example 7: 양자화(Quantization) 모델(AWQ, GPTQ) 연동
# 4-bit 양자화 모델을 로드하여 VRAM 사용량을 절반으로 줄이고 추론 속도를 높입니다.
llm = LLM(
model="TheBloke/Llama-2-7B-Chat-AWQ",
quantization="awq",
dtype="half"
)
4. PagedAttention의 내부 동작 원리 상세 분석
PagedAttention은 가상 메모리의 '매핑 테이브(Mapping Table)' 개념을 차용합니다. 각 시퀀스의 토큰들은 논리적 블록으로 나뉘며, 이 블록들은 GPU의 물리적 메모리 블록에 비연속적으로 매핑됩니다.
- 물리적 블록 관리: 메모리가 필요할 때만 블록을 할당하므로 낭비가 없습니다.
- 블록 공유: 병렬 샘플링(Beam Search 등) 시 동일한 부모 노드에서 파생된 시퀀스들은 해당 블록을 참조만 함으로써 메모리 복사 비용을 없앱니다.
- 효율적인 스케줄링: 대기 중인 요청이 많아도 가용 메모리 블록이 있다면 즉시 배치에 포함시켜 하드웨어 활용률을 극대화합니다.
5. 결론 및 향후 전망
vLLM과 PagedAttention은 LLM 서빙의 경제성을 한 단계 끌어올린 혁신적인 기술입니다. 단순한 추론 가속을 넘어, 다중 사용자가 접속하는 서비스 환경에서 비용 절감과 응답 시간 단축이라는 두 마리 토끼를 잡을 수 있는 최적의 방법입니다. 앞으로도 하드웨어 가속기와의 더 깊은 통합과 거대 모델의 효율적 분산 처리를 위한 연구가 지속될 것이므로, 파이썬 개발자들은 이러한 저수준 메모리 최적화 기법에 대한 이해를 필수적으로 갖춰야 합니다.
