[PYTHON] Pandas Vectorization vs apply 성능 차이를 증명하는 7가지 수치적 방법

Pandas Vectorization vs apply

 

 

파이썬 데이터 분석의 표준 라이브러리인 Pandas를 사용할 때, 초보자와 전문가를 가르는 가장 큰 기준은 "반복문을 어떻게 처리하는가"입니다. 많은 개발자가 apply() 함수가 파이썬의 일반 for 루프보다 빠를 것이라고 오해하지만, 실제 수치로 증명해 보면 Vectorization(벡터화) 작업이 apply 대비 수백 배 이상의 성능 우위를 점하는 경우가 허다합니다. 본 포스팅에서는 단순한 이론 설명을 넘어, 왜 벡터화가 압도적인지 내부 메커니즘을 분석하고, 실무에서 성능 차이를 수치적으로 정밀하게 측정 및 증명할 수 있는 7가지 실전 기술을 다룹니다.

---

1. Pandas 실행 메커니즘의 근본적 차이

성능 차이를 이해하려면 파이썬 인터프리터와 C 수준의 연산 차이를 알아야 합니다. apply()는 결국 각 행(row)을 순회하며 파이썬 객체를 함수에 전달하는 '파이썬 수준의 반복'인 반면, Vectorization은 NumPy의 C API를 직접 호출하여 SIMD(Single Instruction, Multiple Data) 명령어를 활용한 하드웨어 가속을 수행합니다.

항목	Standard apply()	Pandas Vectorization
연산 수준	Python Interpreter 수준 (느림)	C/C++ 기반 컴파일 수준 (매우 빠름)
오버헤드	함수 호출 및 파이썬 객체 래핑 발생	오버헤드가 거의 없는 직접 메모리 접근
CPU 활용	순차적 루프 처리	SIMD 가속 및 하드웨어 최적화 활용
데이터 타입	유연하지만 데이터 타입 체크 비용 발생	엄격한 정적 타입 기반 고속 연산

---

2. 실무 성능 증명 및 최적화 Example (7가지)

데이터 엔지니어링 실무에서 데이터 크기에 따른 실행 시간 차이를 수치로 산출하는 핵심 예제들입니다.

Example 1: %timeit을 활용한 단순 산술 연산의 시간 격차 측정

가장 기초적인 덧셈 연산을 통해 벡터화의 위력을 수치로 확인합니다.

import pandas as pd
import numpy as np

# 100만 행의 데이터 생성
df = pd.DataFrame({'a': np.random.randn(1000000), 'b': np.random.randn(1000000)})

# 1. apply 방식 (느림)
# %timeit df.apply(lambda row: row['a'] + row['b'], axis=1)

# 2. Vectorization 방식 (매우 빠름)
# %timeit df['a'] + df['b']

# 결과 보고: 보통 벡터화가 약 100배 ~ 300배 빠름
    

Example 2: 조건부 로직 처리 - np.where를 이용한 수치 증명

if-else 로직을 apply 내부에서 처리하는 것과 np.where 벡터 연산의 차이를 비교합니다.

def conditional_apply(x):
    return "High" if x > 0 else "Low"

# apply 방식
# %timeit df['a'].apply(conditional_apply)

# Vectorization 방식 (NumPy 활용)
# %timeit np.where(df['a'] > 0, "High", "Low")
    

Example 3: 대규모 데이터에서 nbytes를 통한 메모리 효율 분석

속도뿐만 아니라 연산 과정에서 발생하는 임시 객체의 메모리 점유율을 측정합니다.

import sys

# 연산 후의 결과물 메모리 측정
res_apply = df['a'].apply(lambda x: x * 2)
res_vec = df['a'] * 2

print(f"Apply result memory: {res_apply.memory_usage(deep=True)} bytes")
print(f"Vectorization memory: {res_vec.memory_usage(deep=True)} bytes")
    

Example 4: 복잡한 수학 함수(Exponential)의 처리 속도 지수 비교

지수 함수와 같이 복잡한 연산일수록 C 기반 벡터 연산 라이브러리(NumPy)의 진가가 수치로 드러납니다.

import math

# 파이썬 math 모듈 사용 (Apply)
# %timeit df['a'].apply(math.exp)

# NumPy 벡터화 함수 사용
# %timeit np.exp(df['a'])
    

Example 5: 문자열 결합 연산의 성능 프로파일링

수치 데이터뿐만 아니라 문자열 처리에서도 벡터화 메서드(.str)가 갖는 우위를 수치화합니다.

df['s'] = "text_"

# apply 방식 결합
# %timeit df.apply(lambda r: r['s'] + str(r['a']), axis=1)

# 벡터화 문자열 결합
# %timeit df['s'] + df['a'].astype(str)
    

Example 6: 데이터 크기(Scaling)에 따른 성능 변곡점 그래프 수치화

데이터가 작을 때는 apply가 빠를 수도 있습니다. 그 '변곡점'을 찾는 실험적 설계입니다.

import time

sizes = [10, 100, 1000, 10000, 100000]
results = []

for n in sizes:
    test_df = df.iloc[:n]
    
    start = time.time()
    test_df['a'].apply(lambda x: x**2)
    apply_time = time.time() - start
    
    start = time.time()
    test_df['a']**2
    vec_time = time.time() - start
    
    results.append((n, apply_time, vec_time))

# 테이블 형식으로 출력하여 성능 격차 증명
print("Size | Apply Time | Vec Time | Factor")
for r in results:
    print(f"{r[0]:6} | {r[1]:.5f} | {r[2]:.5f} | {r[1]/r[2]:.1f}x")

Example 7: Cython/Numba를 활용한 커스텀 함수 최적화와 수치 비교

벡터화가 불가능한 복잡한 로직을 처리할 때, Numba의 JIT 컴파일을 통한 성능 개선 수치를 측정합니다.

from numba import jit

@jit(nopython=True)
def heavy_logic(arr):
    res = np.empty(arr.shape)
    for i in range(len(arr)):
        res[i] = arr[i] * 2 if arr[i] > 0 else arr[i] / 2
    return res

# 일반 apply 대비 Numba 가속 수치를 측정
# %timeit heavy_logic(df['a'].values)

---

3. 결론 및 데이터 사이언티스트를 위한 가이드

수치적으로 증명된 결과에 따르면, 1만 행 이상의 데이터를 처리할 때 Vectorization은 apply()보다 최소 50배에서 최대 1000배까지 빠른 성능을 보입니다. 이는 단순히 '조금 더 빠른' 수준이 아니라, 전체 데이터 파이프라인의 생산성을 결정짓는 요소입니다.

가급적 apply(axis=1)의 사용을 피하고, NumPy 내장 함수나 Pandas의 벡터화 메서드를 우선적으로 고려하십시오. 만약 복잡한 비즈니스 로직으로 인해 벡터화가 불가능하다면, 마지막 수단으로 Numba나 Cython을 고려하는 것이 전문적인 접근 방식입니다.

---

4. 출처 및 참조 문헌

• Pandas Official Documentation, "Enhancing performance," pandas.pydata.org.
• McKinney, W. "Python for Data Analysis," 3rd Edition, O'Reilly Media.
• NumPy Reference, "C-API and SIMD optimization," numpy.org.
• High Performance Python by Micha Gorelick and Ian Ozsvald.