[PYTHON] LLM Fine-tuning 시 LoRA와 QLoRA를 활용한 2가지 파라미터 효율적 학습 방법 및 하드웨어 해결책

LLM Fine-tuning 시 LoRA, QLoRA 활용

거대언어모델(LLM)의 시대, 수십억 개의 파라미터를 가진 모델을 전체 파인튜닝(Full Fine-tuning)하는 것은 막대한 컴퓨팅 자원과 VRAM을 요구합니다. 이를 해결하기 위해 등장한 PEFT(Parameter-Efficient Fine-Tuning) 기법 중 가장 혁신적인 LoRA(Low-Rank Adaptation)와 QLoRA(Quantized LoRA)는 일반 소비자용 GPU에서도 대형 모델을 학습시킬 수 있는 길을 열어주었습니다. 본 가이드에서는 Python 기반의 실제 학습 파이프라인에서 두 기법의 메커니즘 차이와 실무적인 적용 전략을 상세히 다룹니다.

---

1. 파라미터 효율적 학습(PEFT)의 핵심 철학

기존의 파인튜닝 방식은 모델의 모든 가중치를 업데이트해야 하므로 모델의 크기만큼 그래디언트와 옵티마이저 상태를 메모리에 저장해야 합니다. 하지만 LoRA는 원본 가중치($W$)를 고정(Freeze)하고, 대신 매우 작은 크기의 두 행렬($A$와 $B$)을 추가하여 이들만을 학습시킵니다. 결과적으로 학습해야 할 파라미터 수가 10,000배 이상 줄어들며, 이는 곧 VRAM 점유율의 획기적인 감소로 이어집니다. QLoRA는 여기서 한 걸음 더 나아가, 고정된 원본 모델을 4-bit로 양자화(NF4 포맷)하여 메모리에 로드함으로써 24GB VRAM을 가진 RTX 3090/4090에서도 70B 파라미터급 모델을 학습할 수 있게 해결해 줍니다.

2. LoRA vs QLoRA: 5가지 핵심 기술적 차이점 비교

하드웨어 자원과 학습 목표에 따라 선택해야 할 기술적 지표입니다.

비교 항목	LoRA (Low-Rank Adaptation)	QLoRA (Quantized LoRA)
기본 정밀도	FP16 또는 BF16	4-bit NormalFloat (NF4)
VRAM 요구량	중간 (모델 크기에 비례)	매우 낮음 (4-bit 로딩 덕분)
학습 속도	빠름 (연산 오버헤드 적음)	상대적으로 느림 (양자화/역양자화 과정)
사용 라이브러리	PEFT, Transformers	bitsandbytes, PEFT, Accelerate
주요 장점	성능 손실 거의 없음, 병합(Merge) 용이	극도로 제한된 하드웨어에서 대형 모델 학습

---

3. 실무 적용을 위한 7가지 PEFT 학습 예제 (Python)

개발자가 Hugging Face 라이브러리를 사용하여 실제 학습 스크립트에 즉시 적용 가능한 실무 코드입니다.

Example 1: LoraConfig 설정을 통한 하이퍼파라미터 최적화

모델의 어떤 레이어에 LoRA를 적용할지, 랭크(r) 값은 얼마로 할지 정의하는 기초 코드입니다.

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=16, # 랭크: 클수록 성능은 좋아지나 파라미터 수 증가
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"], # 적용할 레이어 (Attention)
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

# model = get_peft_model(base_model, config)
# print(model.print_trainable_parameters())
        

Example 2: 4-bit QLoRA 모델 로딩 및 양자화 설정 해결

bitsandbytes를 활용하여 모델을 4비트로 메모리에 올리는 핵심 설정입니다.

from transformers import AutoModelForCausalLM, BitsAndBytesConfig
import torch

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4", # 4-bit NormalFloat 사용
    bnb_4bit_compute_dtype=torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    quantization_config=bnb_config,
    device_map="auto"
)
        

Example 3: Gradient Checkpointing을 통한 VRAM 병목 해결

학습 중 메모리 부족(OOM) 현상을 방지하기 위해 계산 효율성을 높이는 방법입니다.

model.gradient_checkpointing_enable()
# 이는 역전파 시 중간 활성화 값을 다시 계산하여 VRAM을 절약합니다.
        

Example 4: 학습된 LoRA 가중치 저장 및 원본 모델과의 병합(Merge)

추론 시 속도를 높이기 위해 학습된 어댑터를 원본 모델에 합치는 실무 프로세스입니다.

from peft import PeftModel

# 1. 어댑터 로드
model = PeftModel.from_pretrained(base_model, "./output/checkpoint-500")

# 2. 병합 수행 (추론 시 오버헤드 0)
merged_model = model.merge_and_unload()
merged_model.save_pretrained("./merged_model")
        

Example 5: SFTTrainer를 이용한 간결한 학습 파이프라인 구축

데이터 전처리부터 학습 루프까지 한 번에 처리하는 고도화된 라이브러리 연동법입니다.

from trl import SFTTrainer
from transformers import TrainingArguments

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    peft_config=config,
    dataset_text_field="text",
    max_seq_length=512,
    args=TrainingArguments(
        per_device_train_batch_size=4,
        gradient_accumulation_steps=4,
        warmup_steps=2,
        max_steps=100,
        learning_rate=2e-4,
        fp16=True,
        logging_steps=1,
        output_dir="outputs"
    )
)
trainer.train()
        

Example 6: 다중 GPU 환경에서 Accelerate를 활용한 분산 QLoRA

여러 대의 GPU를 효율적으로 사용하여 학습 시간을 단축하는 해결 방법입니다.

# CLI 명령어: accelerate config를 통해 설정 후 실행
# accelerate launch train_script.py

# Python 코드 내 자동 감지
# device_map="auto" 설정 시 Accelerate가 자동으로 분배 로드
        

Example 7: 정밀도 손실 측정을 위한 Perplexity 평가 로직

LoRA 적용 후 모델의 언어 모델링 능력이 얼마나 유지되는지 수치로 확인하는 코드입니다.

import math

eval_results = trainer.evaluate()
print(f"Perplexity: {math.exp(eval_results['eval_loss']):.2f}")
# 수치가 낮을수록 원본 모델의 능력을 잘 보존하면서 파인튜닝된 것임
        

---

4. 결론: 최적의 파인튜닝 전략 로드맵

결론적으로, LoRA와 QLoRA의 선택은 여러분이 가진 GPU VRAM의 크기에 의해 결정됩니다.

• VRAM이 넉넉하고(A100 이상) 학습 속도가 중요하다면 LoRA(FP16)를 사용하십시오.
• RTX 3060/4060과 같은 보급형 GPU에서 대형 모델을 실험하고 싶다면 QLoRA(4-bit)가 유일한 해결책입니다.

단순히 파라미터 효율성을 넘어, 학습 후 어댑터(Adapter)만 따로 배포하여 서비스할 수 있다는 점은 MLOps 관점에서 엄청난 유연성을 제공합니다. 위 예제 코드를 바탕으로 여러분만의 특화된 LLM을 구축해 보시기 바랍니다.

내용 출처 및 참고 문헌

• Hu, E. J., et al. (2021). "LoRA: Low-Rank Adaptation of Large Language Models". arXiv.
• Dettmers, T., et al. (2023). "QLoRA: Efficient Finetuning of Quantized LLMs". arXiv.
• Hugging Face PEFT Documentation 
• Bitsandbytes Library Guide