로컬 PC의 메모리 한계를 뛰어넘는 Out-of-core 컴퓨팅 실무 가이드
1. 메모리 부족(OOM) 문제의 본질적 이해
데이터 분석가와 엔지니어들이 가장 먼저 마주하는 벽은 바로 MemoryError입니다. 일반적으로 Pandas는 데이터를 메모리(RAM)에 모두 올린 뒤 연산을 수행합니다. 하지만 데이터가 100GB를 넘어가고 가용한 RAM이 16GB뿐이라면 기존 방식으로는 처리가 불가능합니다. 이를 해결하기 위한 기술이 바로 Out-of-core(외부 메모리) 연산입니다. 본 포스팅에서는 Python 생태계에서 대용량 데이터 처리를 주도하는 두 라이브러리, Dask와 Vaex의 구조적 차이를 분석하고 실무에 바로 적용할 수 있는 7가지 예제를 제안합니다.
2. Dask vs Vaex: 기술적 아키텍처 비교
두 라이브러리는 '메모리보다 큰 데이터'를 다룬다는 목적은 같지만, 접근 방식은 판이하게 다릅니다. Dask는 작업 분할(Parallel Task)에 집중하고, Vaex는 메모리 매핑(Memory Mapping)에 집중합니다.
| 비교 항목 | Dask (다스크) | Vaex (바이익스) |
|---|---|---|
| 핵심 메커니즘 | Task Graph & 병렬 스케줄링 | Memory Mapping (mmap) & Zero-copy |
| 연산 방식 | Lazy Evaluation (지연 연산) | Lazy Evaluation + Just-In-Time |
| 데이터 구조 | Pandas DataFrame의 파티션 모음 | HDF5 / Apache Arrow 기반 컬럼형 데이터 |
| 최적화 대상 | 분산 클러스터 및 복잡한 워크플로우 | 단일 머신에서의 초고속 인터랙티브 분석 |
| 메모리 사용 | 청크(Chunk) 단위 로드 | 실질적 RAM 점유 거의 없음 |
3. 실무형 Out-of-core 연산 적용 Example (7가지)
개발자가 수백 GB 데이터 파이프라인에 즉시 복사하여 사용할 수 있는 실전 코드 스니펫입니다.
#1. Dask: 수백 개의 CSV 파일을 하나의 DataFrame으로 통합 로드
import dask.dataframe as dd
# 수백 GB 규모의 CSV 와일드카드 로드
# blocksize를 통해 메모리에 올릴 청크 크기 조절 (128MB 권장)
df = dd.read_csv('data/huge_dataset_*.csv', blocksize="128MB")
# 실제 연산 전까지는 데이터가 메모리에 올라가지 않음
print(df.head())
#2. Vaex: 100GB+ HDF5 파일 즉시 로드 (0초 소요)
import vaex
# 메모리 맵핑을 사용하므로 데이터 크기에 상관없이 오픈 속도는 동일함
df = vaex.open('big_data.hdf5')
# 수조 개의 행이 있어도 통계 연산은 수 초 내 완료
print(f"Total rows: {len(df):,}")
#3. Dask: 분산 그룹화(Groupby) 및 집계 연산
# 대규모 데이터에서 특정 컬럼 기준 평균값 산출
mean_values = df.groupby('category_id')['price'].mean()
# compute()를 호출할 때 비로소 병렬 연산 시작
result = mean_values.compute()
print(result)
#4. Vaex: 가상 컬럼(Virtual Columns)을 활용한 메모리 절약
# 새로운 컬럼을 만들어도 메모리를 추가로 점유하지 않음 (표현식만 저장)
df['log_income'] = np.log(df.income + 1)
# 필요 시점에만 연산 수행
print(df[['income', 'log_income']].head(5))
#5. Dask: 머신러닝 학습을 위한 전처리(Scaling)
from dask_ml.preprocessing import StandardScaler
import dask.array as da
# 대용량 배열 생성
X = da.random.random((1000000, 100), chunks=(10000, 100))
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 지연 연산 결과 확인
print(X_scaled)
#6. Vaex: 효율적인 필터링과 시각화
# 1억 개의 행 중 조건에 맞는 데이터 시각화 (Heatmap)
df_filtered = df[df.x > 0]
df_filtered.viz.heatmap(df.x, df.y, show=True)
#7. 데이터 포맷 변환 (Pandas to Parquet for Out-of-core)
# Pandas로 감당 안되는 파일은 처음부터 Dask로 읽어 Parquet로 변환하는 것이 효율적
import dask.dataframe as dd
dd_df = dd.read_csv('legacy_huge_data.csv')
# 압축률과 성능이 좋은 parquet 포맷으로 저장
dd_df.to_parquet('optimized_data/', engine='pyarrow')
4. 성능 극대화를 위한 팁: 언제 무엇을 써야 하는가?
실무에서 도구를 선택하는 기준은 명확합니다. 만약 여러분이 단일 고성능 워크스테이션에서 탐색적 데이터 분석(EDA)을 수행한다면 Vaex가 압도적입니다. 하지만 여러 대의 서버(클러스터)를 활용하여 복잡한 ETL 프로세스를 구축해야 한다면 Dask가 표준입니다. 특히 Vaex는 .convert() 함수를 통해 CSV를 HDF5나 Arrow로 바꾸는 과정만 거치면, 이후부터는 수백 GB의 데이터도 마치 수 MB 데이터를 다루듯 매끄럽게 처리할 수 있다는 독창적인 장점이 있습니다.
