머신러닝 프로젝트의 성패는 알고리즘의 화려함보다 데이터의 '순도'에 의해 결정되는 경우가 많습니다. 특히 이상치(Outlier/Anomaly)는 모델이 데이터의 일반적인 패턴을 학습하는 방해 요소로 작용하며, 이는 결국 모델의 강건성(Robustness)을 저하시키는 결정적인 원인이 됩니다. 잘못된 데이터 포인트 하나가 경사 하강법(Gradient Descent)의 방향을 왜곡하고, 손실 함수를 국소 최적점(Local Minimum)이 아닌 엉뚱한 곳으로 유도할 수 있기 때문입니다. 본 포스팅에서는 파이썬(Python)을 활용하여 학습 데이터 내 이상치를 탐지하는 최신 기법들을 살펴보고, 이러한 이상치 제거가 실제 모델의 예측 성능과 안정성에 어떤 혁신적인 차이를 주는지 7가지 실전 예제와 함께 심층적으로 분석합니다.
1. 이상치(Anomaly)의 정의와 모델 강건성에 미치는 파급 효과
이상치란 다른 관측값들과 확연히 구분되는 비정상적인 데이터를 의미합니다. 이는 단순한 입력 오류(Noise)일 수도 있지만, 사기 트랜잭션이나 장비 고장 신호처럼 매우 중요한 정보(Novelty)일 수도 있습니다. 하지만 '일반적인 예측 모델'을 구축할 때 이상치는 모델을 특정 데이터에 과적합(Overfitting)시키거나 분산을 키워 일반화 성능을 떨어뜨립니다.
이상치 제거가 해결하는 3가지 핵심 문제
- 경사도 왜곡 방지: 이상치로 인해 발생하는 거대한 손실(Loss) 값이 가중치 업데이트를 방해하는 현상을 해결합니다.
- 정규 분포 가정의 회복: 선형 회귀나 PCA와 같이 통계적 가정을 전제로 하는 알고리즘의 신뢰도를 높입니다.
- 결정 경계(Decision Boundary)의 안정화: 소수의 극단적인 값에 의해 경계면이 뒤틀리는 현상을 방지하여 강건성을 확보합니다.
2. 이상치 탐지 알고리즘별 특성 및 강건성 차이 비교
데이터의 차원과 분포 특성에 따라 적절한 이상치 제거 전략을 선택해야 합니다. 주요 알고리즘의 성능 차이를 표로 정리하였습니다.
| 분류 항목 | Isolation Forest (아이솔레이션 포레스트) | Local Outlier Factor (LOF) | Robust Scaling & IQR Method |
|---|---|---|---|
| 탐지 메커니즘 | 데이터 고립(Isolation) 깊이 측정 | 주변 이웃과의 밀도(Density) 비교 | 사분위수 및 중앙값 기반 통계 분석 |
| 고차원 데이터 성능 | 매우 우수 (랜덤 선택 방식) | 보통 (거리 계산 비용 발생) | 낮음 (단변량 분석 위주) |
| 파라미터 민감도 | 낮음 (오염 비율 설정 위주) | 높음 (이웃 수 K에 민감) | 매우 낮음 (상수 1.5 사용) |
| 모델 강건성 기여 | 전역적 이상치 제거에 탁월 | 지역적/클러스터 내 이상치 해결 | 극단적인 스케일 왜곡 방지 |
| 실무 적용 추천 | 대규모 정형 데이터셋 | 데이터 분포가 불균일한 경우 | 기본적인 데이터 전처리 단계 |
3. 실무 가속을 위한 이상치 탐지 및 제거 Python 예제 (7 Examples)
이 예제들은 scikit-learn, numpy, pandas 라이브러리를 기반으로 실무에서 이상치 문제를 해결하기 위해 즉시 적용 가능한 코드들입니다.
Example 1: IQR(Interquartile Range) 기반의 통계적 이상치 제거
가장 고전적이면서도 강력한 방법으로, 데이터의 중앙 50% 범위를 벗어난 값을 필터링합니다.
import pandas as pd
import numpy as np
def remove_outliers_iqr(df, column):
Q1 = df[column].quantile(0.25)
Q3 = df[column].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
# 범위를 벗어나는 데이터 제거
return df[(df[column] >= lower_bound) & (df[column] <= upper_bound)]
# 실무 적용: 가격 데이터의 이상치 제거
# clean_df = remove_outliers_iqr(raw_df, 'price')
Example 2: Isolation Forest를 이용한 비지도 이상치 탐지
앙상블 기반 알고리즘으로, 고립시키기 쉬운 데이터 포인트를 이상치로 판단합니다.
from sklearn.ensemble import IsolationForest
# 모델 정의 (contamination은 예상되는 이상치 비율)
iso_forest = IsolationForest(n_estimators=100, contamination=0.05, random_state=42)
outliers = iso_forest.fit_predict(X_train)
# -1은 이상치, 1은 정상 데이터
X_clean = X_train[outliers == 1]
y_clean = y_train[outliers == 1]
Example 3: Local Outlier Factor(LOF)를 통한 밀도 기반 탐지
주변 데이터와의 밀도를 비교하여 국소적으로 툭 튀어나온 이상치를 잡아냅니다.
from sklearn.neighbors import LocalOutlierFactor
lof = LocalOutlierFactor(n_neighbors=20, contamination=0.05)
outliers = lof.fit_predict(X_train)
# 밀도가 현저히 낮은 포인트 제거
X_filtered = X_train[outliers != -1]
Example 4: RobustScaler를 활용한 스케일 왜곡 해결
이상치에 민감한 StandardScaler 대신 중앙값과 사분위수를 사용하여 데이터 범위를 조정합니다.
from sklearn.preprocessing import RobustScaler
scaler = RobustScaler()
# 이상치가 포함된 상태에서도 강건한 스케일링 수행
X_scaled = scaler.fit_transform(X_train)
Example 5: Elliptic Envelope를 이용한 가우시안 분포 이상치 탐지
데이터가 정규 분포를 따른다고 가정할 때, 타원형 경계 밖의 데이터를 제거합니다.
from sklearn.covariance import EllipticEnvelope
envelope = EllipticEnvelope(contamination=0.01)
outliers = envelope.fit_predict(X_train)
# 분포 중심에서 먼 데이터 필터링
X_final = X_train[outliers == 1]
Example 6: Z-Score 기반의 다변량 이상치 필터링
평균으로부터 표준편차의 N배만큼 떨어진 데이터를 제거하는 정밀 로직입니다.
from scipy import stats
def filter_zscore(df, threshold=3):
z_scores = np.abs(stats.zscore(df.select_dtypes(include=[np.number])))
# 모든 컬럼에서 z-score가 threshold 미만인 행만 선택
return df[(z_scores < threshold).all(axis=1)]
Example 7: 이상치 제거 전후의 모델 성능 비교 검증(CV)
이상치 제거가 실제 모델의 교차 검증 점수에 어떤 영향을 주는지 확인하는 파이프라인입니다.
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LinearRegression
# 제거 전 성능
score_raw = cross_val_score(LinearRegression(), X_raw, y_raw, cv=5).mean()
# 제거 후 성능 (Isolation Forest 적용 가정)
iso = IsolationForest(contamination=0.05).fit_predict(X_raw)
score_clean = cross_val_score(LinearRegression(), X_raw[iso==1], y_raw[iso==1], cv=5).mean()
print(f"Raw Score: {score_raw:.4f} vs Clean Score: {score_clean:.4f}")
4. 이상치 제거 시 주의해야 할 '역설적 상황' 해결 방법
데이터를 무작정 삭제하는 것만이 능사는 아닙니다. 다음 3가지 해결 전략을 참고하십시오.
- 도메인 지식의 우선순위: 통계적으로 이상치라 하더라도 비즈니스 관점에서 발생 가능한 중요한 이벤트라면 삭제 대신 로그 변환(Log Transform)이나 클리핑(Clipping)을 고려해야 합니다.
- 데이터 유실 방지: 샘플 수가 적은 경우 이상치 제거는 학습 부족을 야기합니다. 이 경우 Robust한 모델(예: Huber Regression)을 선택하는 것이 더 나은 해결 방법입니다.
- 테스트 데이터 유지: 학습 데이터에서는 이상치를 제거하되, 테스트 데이터는 실제 환경과 동일하게 유지하여 모델의 현실적인 대응 능력을 평가하십시오.
5. 결론: 깨끗한 데이터가 강건한 AI를 만든다
이상치 탐지는 단순히 데이터를 지우는 과정이 아니라, 모델에게 진실을 가르치는 과정입니다. 파이썬의 다양한 라이브러리를 통해 이상치를 정밀하게 제어함으로써, 소수의 노이즈에 흔들리지 않는 묵직하고 강건한 머신러닝 모델을 구축할 수 있습니다. 오늘 소개한 7가지 기법을 여러분의 파이프라인에 적용하여 예측 성능의 비약적인 향상을 경험해 보시기 바랍니다.
내용 출처 및 기술 자료
- Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008). "Isolation Forest". ICDM.
- Breunig, M. M., et al. (2000). "LOF: Identifying Density-Based Local Outliers". SIGMOD.
- Scikit-learn User Guide: Novelty and Outlier Detection.
- "Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow" by Aurélien Géron.
- IEEE Transactions on Knowledge and Data Engineering: Outlier Detection Survey.
