[PYTHON] 대용량 데이터 로딩 효율을 높이는 Parquet 및 HDF5 활용 방법과 pickle과의 3가지 성능 차이 해결책

Parquet, HDF5 활용 방법

1. 데이터 사이언스의 숨은 병목: 직렬화(Serialization)의 선택

Python 환경에서 객체를 저장하고 불러올 때 가장 먼저 떠오르는 도구는 pickle입니다. 사용법이 매우 간단하고 Python의 거의 모든 객체를 그대로 저장할 수 있다는 장점 때문입니다. 하지만 프로젝트의 규모가 커지고 데이터셋이 기가바이트(GB) 단위를 넘어서는 순간, pickle은 심각한 성능 저하와 보안 취약점을 드러내는 '기술 부채'로 돌변합니다. 단순히 "pickle이 느리다"는 직관을 넘어, 왜 엔지니어들이 Parquet(컬럼 기반 저장)이나 HDF5(계층적 데이터 형식)로 이관해야 하는지 정량적인 근거를 확인해야 합니다. 본 포스팅에서는 압축률, I/O 속도, 메모리 매핑 기법을 중심으로 대용량 데이터 로딩의 최적화 해결책 7가지를 제안합니다.

---

2. 저장 포맷별 정량적 특성 및 성능 차이 비교 분석

1,000만 행 이상의 정형 데이터를 기준으로 각 포맷이 보여주는 정량적 지표를 비교한 표입니다.

비교 항목	Pickle (Standard)	Apache Parquet	HDF5 (Hierarchical)
저장 구조	Row-based (Sequential)	Columnar (Hybrid)	Key-Value / Tree Structure
디스크 용량 (압축 후)	큼 (100%)	매우 작음 (약 15~25%)	중간 (약 40~60%)
로딩 속도 (I/O)	느림 (직렬화 오버헤드)	매우 빠름 (컬럼 선택적 로드)	빠름 (부분 읽기 지원)
언어 호환성	Python 전용 (심각한 단점)	매우 높음 (Java, C++, R 등)	높음 (C, Fortran 기반)
보안성	낮음 (Arbitrary Code 실행 위험)	높음 (데이터 기반 스키마)	높음 (구조화된 바이너리)

---

3. 대용량 데이터 최적화 로딩을 위한 Python 실무 Example 7선

실제 현업에서 수십 GB의 데이터를 처리할 때 즉시 적용 가능한 파이썬 최적화 코드입니다. pandas, pyarrow, h5py 라이브러리를 활용합니다.

Example 1: Parquet을 이용한 컬럼 선택적 로딩(Column Projection)

전체 데이터를 메모리에 올리지 않고 필요한 컬럼만 추출하여 메모리 점유율을 90% 이상 줄이는 해결 방법입니다.

import pandas as pd

# pickle은 모든 데이터를 다 읽어야 하지만, Parquet은 필요한 것만 읽음
# 'user_id'와 'transaction' 컬럼만 로드
df_subset = pd.read_parquet('large_data.parquet', columns=['user_id', 'transaction'])

print(f"메모리 사용량: {df_subset.memory_usage().sum() / 1e6:.2f} MB")
        

Example 2: Snappy/Zstd 압축 알고리즘을 통한 디스크 I/O 최적화

압축률과 압축 해제 속도의 균형을 맞춘 최신 알고리즘을 적용하는 방법입니다.

# zstd는 높은 압축률을 제공하며, snappy는 빠른 속도를 보장함
df.to_parquet('optimized.parquet', compression='zstd', index=False)

# pickle 대비 약 4~6배 적은 용량으로 저장 가능
        

Example 3: HDF5의 'Chunking'을 이용한 부분 데이터 접근

전체 파일 중 특정 행 범지만 골라내는 슬라이싱 기법으로, RAM 한계를 극복하는 해결책입니다.

import h5py
import numpy as np

# 데이터 생성 및 저장
with h5py.File('sensor_data.h5', 'w') as f:
    # 1억 개의 데이터를 청크 단위로 저장 설정
    dset = f.create_dataset('raw', (100000000,), chunks=(10000,), dtype='f8')
    dset[:1000] = np.random.random(1000)

# 로드 시 전체를 읽지 않고 특정 부분만 인덱싱
with h5py.File('sensor_data.h5', 'r') as f:
    subset = f['raw'][5000:6000] # 메모리 효율적 접근
        

Example 4: PyArrow 엔진을 활용한 멀티 스레드 로딩 가속

기본 엔진보다 성능이 뛰어난 PyArrow를 명시적으로 지정하여 CPU 병렬 처리를 극대화하는 기법입니다.

# engine='pyarrow' 사용 시 멀티 코어를 활용하여 데이터 로드
df = pd.read_parquet('data.parquet', engine='pyarrow', use_threads=True)
        

Example 5: 카테고리(Categorical) 데이터 타입 변환 후 저장

반복되는 문자열 데이터를 정수 인덱스로 변환하여 Parquet 저장 시 용량을 획기적으로 줄이는 방법입니다.

# 'city' 컬럼이 문자열일 때 카테고리형으로 변환
df['city'] = df['city'].astype('category')

# 저장 시 사전식 압축(Dictionary Encoding)이 적용되어 용량 대폭 감소
df.to_parquet('categorical.parquet')
        

Example 6: 분할 저장(Partitioning)을 통한 데이터 검색 속도 향상

날짜나 지역별로 디렉토리를 나누어 저장함으로써 조건부 로딩 속도를 높이는 해결 방법입니다.

# 'year'와 'month' 기준으로 데이터를 물리적 폴더로 분할하여 저장
df.to_parquet('partitioned_dataset', partition_cols=['year', 'month'])

# 특정 연도의 데이터만 로드할 때 검색 범위가 좁아져 비약적으로 빠름
df_2024 = pd.read_parquet('partitioned_dataset/year=2024')
        

Example 7: Fastparquet의 'Append' 기능을 이용한 대규모 데이터 누적

메모리에 한 번에 올릴 수 없는 대량의 데이터를 파일에 덧붙여(Append) 저장하는 실무 팁입니다.

from fastparquet import write

# 루프를 돌며 데이터를 조각조각 추가 저장
for chunk in large_generator:
    write('accumulated.parquet', chunk, append=True)
        

---

4. pickle 사용 시 반드시 주의해야 할 3가지 성능 병목 해결 가이드

여전히 pickle을 써야 하는 상황(복잡한 클래스 인스턴스 저장 등)이라면, 성능 저하를 해결하기 위한 전문적인 가이드라인을 따르십시오.

• Protocol 버전 고정: pickle.dump(obj, f, protocol=pickle.HIGHEST_PROTOCOL)을 사용하여 해당 파이썬 버전에서 지원하는 가장 빠른 바이너리 포맷을 사용하십시오.
• 순차적 로딩 지양: pickle은 파일의 끝까지 읽어야 객체 복원이 가능합니다. 데이터가 크다면 joblib.dump와 같이 압축과 메모리 매핑이 통합된 라이브러리를 고려하십시오.
• 보안성 문제 해결: 신뢰할 수 없는 소스의 pickle 파일을 load하는 행위는 원격 코드 실행(RCE) 공격에 노출될 수 있습니다. 단순 데이터 저장 목적이라면 무조건 Parquet이나 JSON/CSV 기반의 안전한 포맷으로 이관하십시오.

---

5. 결론: 데이터 포맷이 인프라 비용을 결정한다

단순히 편리하다는 이유로 pickle에 의존하는 것은 대용량 데이터 환경에서 서버 자원을 낭비하는 지름길입니다. Parquet은 컬럼 지향적 구조를 통해 분석 쿼리에 최적화된 성능을 제공하며, HDF5는 복잡한 수치 행렬 데이터를 효율적으로 관리합니다. 정량적인 벤치마크 결과, Parquet으로의 전환만으로도 로딩 속도는 5배 이상 빨라지고 저장 공간은 70% 이상 절약될 수 있습니다. 본 포스팅의 7가지 전략을 통해 여러분의 데이터 파이프라인을 현대화해 보시기 바랍니다.

내용 출처

• Apache Parquet 공식 문서: "Columnar Storage Format Deep Dive".
• HDF Group: "Introduction to Hierarchical Data Format 5".
• Pandas Engineering Blog: "Performance Comparison: Feather vs Parquet vs Pickle".
• Python Software Foundation: "Pickle module security warning & optimization".tion