[PYTHON] Pickle 대신 Joblib과 Feather를 사용하는 3가지 이유와 직렬화 성능 차이 해결 방법

Pickle vs Joblib & Feather

 

 

파이썬 데이터 과학 생태계에서 모델 학습만큼 중요한 것이 바로 '직렬화(Serialization)'입니다. 공들여 학습시킨 딥러닝 모델이나 수 기가바이트(GB)에 달하는 전처리 데이터를 디스크에 저장하고 불러오는 과정에서 속도가 느려지거나 메모리 오류가 발생한다면, 전체 파이프라인의 효율은 급격히 떨어집니다. 많은 초보 개발자가 파이썬 기본 라이브러리인 Pickle을 관성적으로 사용하지만, 대규모 수치 데이터를 다루는 실무에서는 Joblib이나 Feather가 제공하는 독보적인 성능 이점을 반드시 활용해야 합니다.

본 포스팅에서는 Pickle이 가진 구조적 한계를 분석하고, 데이터 특성에 따라 Joblib과 Feather를 선택하여 병목 현상을 해결하는 최적의 방법을 7가지 실전 예제와 함께 제시합니다.

---

1. 직렬화 라이브러리별 핵심 차이 및 벤치마크 비교

데이터의 형태가 대규모 Numpy 배열인지, 아니면 구조화된 Pandas DataFrame인지에 따라 최적의 라이브러리는 달라집니다. 각 도구의 아키텍처적 특성을 표로 비교해 보았습니다.

특성	Pickle	Joblib	Feather (Arrow)
주요 용도	일반 파이썬 객체 저장	대형 수치 배열/ML 모델	고속 DataFrame IO
Numpy 최적화	기본적 수준 (속도 느림)	매우 뛰어남 (압축 및 캐싱)	데이터 레이아웃 그대로 복사
메모리 효율	복사본 생성으로 메모리 급증	메모리 맵(mmap) 지원	Zero-copy 읽기 지원
타언어 호환성	파이썬 전용 (불가)	파이썬 전용 (불가)	R, Julia 등과 호환
권장 데이터	딕셔너리, 리스트	Scikit-learn 모델, 대형 배열	Pandas 데이터프레임

---

2. 실무 성능 극대화를 위한 7가지 직렬화 패턴 Sample Examples

실제 ML Ops 환경이나 데이터 엔지니어링 실무에서 즉시 적용 가능한 코드 패턴입니다.

Example 1: Scikit-learn 대형 모델 저장 시 Joblib 활용 방법

Joblib은 대규모 Numpy 배열을 포함한 모델을 저장할 때 Pickle보다 10배 이상 빠른 속도와 높은 압축률을 보여줍니다.

import joblib
from sklearn.ensemble import RandomForestClassifier
import numpy as np

# 대형 모델 생성
model = RandomForestClassifier(n_estimators=100)
X = np.random.rand(10000, 100)
y = np.random.randint(0, 2, 1000)
model.fit(X, y)

# compress 인자를 통해 압축률 조절 (0~9)
joblib.dump(model, 'heavy_model.pkl', compress=3)

# 로드 시 메모리 맵 활용 가능
loaded_model = joblib.load('heavy_model.pkl')

Example 2: Pandas 데이터프레임 초고속 저장을 위한 Feather 패턴

Feather 포맷은 Apache Arrow를 기반으로 하며, CSV나 Pickle 대비 압도적인 읽기/쓰기 성능을 자랑합니다.

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(1000000, 10), columns=[f'col_{i}' for i in range(10)])

# Feather로 저장 (확장자 .feather)
df.to_feather('data_store.feather')

# 읽기 속도는 거의 디스크 I/O 속도와 동일
df_loaded = pd.read_feather('data_store.feather')

Example 3: Joblib을 이용한 병렬 처리 결과 캐싱 해결

반복적인 연산 결과를 디스크에 캐싱하여, 동일한 인자로 함수 호출 시 연산 없이 즉시 로드하는 방법입니다.

from joblib import Memory

cachedir = './cache_dir'
mem = Memory(cachedir, verbose=0)

@mem.cache
def expensive_computation(data):
    print("Computing...")
    return np.square(data).sum()

# 두 번째 호출부터는 연산 없이 캐시된 결과 로드
result = expensive_computation(np.random.rand(1000))

Example 4: Feather의 Zero-copy를 활용한 메모리 절약 방법

메모리가 부족한 환경에서 거대한 데이터프레임을 다룰 때 Feather는 메모리 복사 없이 데이터를 참조할 수 있게 돕습니다.

import pyarrow.feather as feather

# pyarrow를 직접 사용하여 메모리 효율적 로드
table = feather.read_table('data_store.feather', memory_map=True)
df = table.to_pandas()

# 필요한 컬럼만 선택적으로 로드하여 RAM 점유율 최소화
partial_df = feather.read_dataframe('data_store.feather', columns=['col_1', 'col_2'])

Example 5: 다중 파일 파티셔닝 저장 해결 (Joblib)

너무 큰 배열을 하나의 파일로 저장할 때 발생하는 OS 제약을 피하기 위해 파일을 분할 저장하는 기법입니다.

# joblib은 기본적으로 대형 배열을 별도의 파일로 분리할 수 있음
# cache_size 등을 조절하여 대규모 파이프라인 구축
with open('bundle.joblib', 'wb') as f:
    joblib.dump([np.ones(1000), np.zeros(1000)], f)

Example 6: 타 언어(R/Julia)와의 데이터 교환 패턴

파이썬에서 전처리한 데이터를 R의 tidyverse에서 분석해야 할 때 Feather는 가장 완벽한 가교 역할을 합니다.

# Python 측
df.to_feather('interop_data.feather')

# (참고) R 측 코드 예시:
# library(arrow)
# df <- read_feather("interop_data.feather")

Example 7: 보안 강화를 위한 직렬화 선택 가이드

Pickle은 임의의 코드 실행 취약점이 있으나, Joblib 역시 동일한 위험을 공유합니다. 신뢰할 수 없는 데이터는 JSON이나 Parquet/Feather 사용을 고려하십시오.

# 보안이 중요한 환경에서의 Feather 권장 이유
# Feather는 실행 가능한 객체가 아닌 데이터 스키마 기반이므로 
# Pickle보다 상대적으로 코드 주입 공격에 안전함

---

3. 왜 Pickle을 지양해야 하는가? (결정적 3가지 이유)

• 속도 정체: Pickle은 객체를 직렬화할 때 파이썬 바이트코드를 한 줄씩 해석하므로, 대규모 수치 행렬 처리에 오버헤드가 큽니다.
• 메모리 폭발: Pickle 로드 시 객체의 완전한 복사본을 메모리에 생성하므로, 원본 데이터 크기의 2~3배에 달하는 RAM이 순간적으로 필요합니다.
• 버전 호환성 문제: 파이썬 버전이나 특정 라이브러리 버전이 달라지면 Pickle 파일이 깨지는 경우가 빈번하여 장기 보관에 부적합합니다.

---

4. 결론 및 요약

현대적인 파이썬 데이터 파이프라인에서 Joblib은 모델 저장을 위해, Feather는 데이터프레임 전송을 위해 필수적으로 도입되어야 합니다. 단순히 익숙하다는 이유로 Pickle을 고수하기보다, 데이터의 성격에 맞는 직렬화 도구를 선택함으로써 인프라 비용을 절감하고 서비스 응답 속도를 혁신적으로 개선할 수 있습니다.

[내용 출처 및 참고 문헌]

• Joblib Documentation: "Persistence - saving and loading objects."
• Apache Arrow Project: "Feather File Format Specification."
• Scikit-learn User Guide: "Model persistence."
• Pandas Official Documentation: "IO Tools - Feather."