[PYTHON] Scikit-learn 파이프라인 확장을 위한 2가지 커스텀 트랜스포머 구현 방법과 데이터 누수 해결<

Scikit-learn

 

머신러닝 프로젝트의 성패는 모델의 알고리즘만큼이나 데이터 전처리 파이프라인(Data Preprocessing Pipeline)의 견고함에 달려 있습니다. 단순히 데이터를 정제하는 것을 넘어, 전처리 과정을 모델 학습 과정과 완벽하게 통합하지 않으면 치명적인 데이터 누수(Data Leakage)가 발생하여 모델의 성능을 오염시키게 됩니다. Scikit-learn의 Pipeline은 매우 강력하지만, 기본 제공되는 StandardScaler나 OneHotEncoder만으로는 비즈니스 특화된 복잡한 로직(예: 특정 도메인 공식 적용, 텍스트 파싱 등)을 처리하기에 부족함이 있습니다. 본 가이드에서는 BaseEstimator와 TransformerMixin을 상속받아 나만의 독창적인 커스텀 트랜스포머를 설계하는 방법과, 이를 통해 파이프라인의 유지보수성을 200% 이상 높이는 해결 전략을 제시합니다.

---

1. 왜 커스텀 트랜스포머가 필요한가?

실무 환경에서는 데이터 원본에 존재하지 않는 도메인 지식을 투영해야 할 때가 많습니다. 예를 들어, '로그 시간' 데이터를 '주말 여부'로 변환하거나, 두 개 이상의 열을 조합하여 새로운 피처를 생성하는 작업입니다. 이를 단순 함수로 처리하면 다음과 같은 문제가 발생합니다.

• 훈련/테스트 데이터 불일치: 훈련 데이터에서 학습한 통계치(예: 평균, 최빈값)를 테스트 데이터에 동일하게 적용하기 어렵습니다.
• 코드 가독성 저하: 전처리 코드와 모델 학습 코드가 파편화되어 유지보수가 불가능해집니다.
• Grid Search 연동 불가: 전처리 하이퍼파라미터(예: 특정 열을 생성할지 말지)를 최적화할 수 없습니다.

---

2. 커스텀 트랜스포머 설계를 위한 2가지 핵심 클래스

Scikit-learn과 완벽하게 호환되는 객체를 만들기 위해서는 반드시 다음 두 클래스를 상속받아야 합니다.

상속 클래스	주요 역할 및 장점	필수 구현 메서드
TransformerMixin	fit_transform() 메서드를 자동으로 생성해 줍니다.	fit(), transform()
BaseEstimator	하이퍼파라미터 튜닝을 위한 get_params(), set_params()를 제공합니다.	__init__ (인자 명시 필요)

---

3. 실전 Sample Example: 도메인 기반 피처 생성기 구현

아래 코드는 특정 열들 사이의 비율을 계산하여 새로운 피처를 생성하고, 불필요한 열을 삭제하는 커스텀 트랜스포머 예시입니다. Pipeline에 통합되어 데이터 누수를 원천 차단합니다.

from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline
import pandas as pd
import numpy as np

# 1. 커스텀 트랜스포머 클래스 정의
class FeatureRatioAdder(BaseEstimator, TransformerMixin):
    def __init__(self, add_ratio=True): # 하이퍼파라미터로 제어 가능
        self.add_ratio = add_ratio
        
    def fit(self, X, y=None):
        # 학습 데이터에서 얻어야 할 통계치가 있다면 여기서 계산
        return self
        
    def transform(self, X):
        # 실제 데이터 변환 로직
        X_temp = X.copy()
        if self.add_ratio:
            # 예: 방 개수 대비 거실 크기 비율 생성
            X_temp['ratio_feature'] = X_temp.iloc[:, 0] / (X_temp.iloc[:, 1] + 1e-5)
        return X_temp

# 2. 파이프라인 구축
full_pipeline = Pipeline([
    ('feature_adder', FeatureRatioAdder(add_ratio=True)),
    # 여기에 다른 StandardScaler나 모델을 추가 가능
])

# 3. 데이터 적용 예시
df = pd.DataFrame([[10, 2], [20, 5]], columns=['A', 'B'])
transformed_df = full_pipeline.fit_transform(df)
print(transformed_df)

---

4. 차이점 분석: FunctionTransformer vs Custom Class

전처리를 구현하는 방식은 크게 두 가지가 있습니다. 상황에 맞는 적절한 해결 방법을 선택하십시오.

• FunctionTransformer: 별도의 상태 저장이 필요 없는 단순 연산(예: 로그 변환)에 적합합니다. 구현이 매우 빠릅니다.
• Custom Class (BaseEstimator 상속): 학습 데이터의 평균이나 표준편차를 기억해야 하거나, 하이퍼파라미터 튜닝(Grid Search)이 필요한 복잡한 로직에 필수적입니다.

---

5. 데이터 누수(Data Leakage) 해결을 위한 골든 룰

커스텀 트랜스포머를 작성할 때 가장 많이 범하는 실수는 transform() 단계에서 전체 데이터셋의 통계량을 사용하는 것입니다. 반드시 fit() 메서드 내에서 훈련 데이터(Train Set)의 통계량만을 산출하고, 이를 멤버 변수로 저장한 뒤 transform()에서 재사용해야 합니다. 이렇게 함으로써 모델이 테스트 데이터의 정보를 미리 '엿보는' 사고를 방지할 수 있습니다.

---

6. 결론

Scikit-learn 파이프라인을 커스텀 트랜스포머로 확장하는 것은 단순한 코딩 스킬을 넘어, 머신러닝 워크플로우를 자동화하고 신뢰성을 확보하는 핵심 전략입니다. BaseEstimator를 활용한 객체 지향적 접근은 실험의 재현성을 높이고, 프로덕션 환경으로의 배포를 용이하게 만듭니다. 여러분의 파이프라인에 도메인 지식을 녹여내어 독보적인 성능의 모델을 완성해 보시기 바랍니다.

 

내용 출처 및 참고 문헌:

• Pedregosa, F., et al. (2011). Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research.
• Aurélien Géron. (2022). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 3rd Edition. O'Reilly.
• Scikit-learn Official Guide: Utilities for Pipeline Construction and Composite Estimators.