[PYTHON] 결측치(NaN) 처리를 위한 4가지 결정적 전략과 데이터 무결성 해결 방법 7가지

결측치 (Missing Value, NaN) 처리

현업에서 데이터 분석 프로젝트를 수행할 때 가장 먼저 마주하는 적은 복잡한 알고리즘이 아닙니다. 바로 비어 있는 값, 즉 결측치(Missing Value, NaN)입니다. 결측치를 단순히 삭제하거나 평균으로 채우는 방식은 데이터의 편향을 초래하고 모델의 예측 성능을 처참하게 망가뜨릴 수 있습니다. 2026년 현재, 데이터 사이언스 분야에서는 단순한 '채우기'를 넘어 데이터의 생성 맥락을 고려한 '지능적 임퓨테이션(Imputation)'이 표준이 되었습니다. 본 포스팅에서는 결측치의 발생 유형을 분석하고, 데이터 무결성을 유지하면서도 분석 가치를 극대화할 수 있는 4가지 전문 전략과 실무 현장에서 즉시 활용 가능한 7가지 해결 사례를 심층적으로 다룹니다.

---

1. 결측치 발생 유형별 특징 및 처리 방식의 차이

결측치를 어떻게 처리할지 결정하기 전에, 왜 데이터가 비어 있는지(Mechanism)를 파악해야 합니다. 유형에 따라 해결 방법이 완전히 달라지기 때문입니다.

결측 유형	정의 및 특징	처리 권장 방법	위험 요소
MCAR (완전 무작위)	결측이 다른 변수와 무관하게 무작위 발생	단순 삭제 또는 통계적 대치	표본 크기 감소
MAR (무작위 결측)	특정 변수값에 따라 결측 확률이 결정됨	다중 대치(MICE), 머신러닝 기반 대치	단순 대치 시 편향 발생
MNAR (비무작위 결측)	결측된 값 자체가 결측의 원인임	도메인 지식 기반 보정, 별도 모델링	가장 해결하기 까다로운 유형
구조적 결측	설계상 값이 존재할 수 없는 경우	특수 기호('N/A') 또는 0으로 처리	통계 왜곡 가능성

2. 결측치 처리를 위한 4가지 핵심 전략

• Strategy 1: 제거(Deletion) - 결측치가 아주 적거나(5% 미만), MCAR일 경우에만 사용합니다. 행 전체를 삭제하는 Listwise 방식이 일반적입니다.
• Strategy 2: 통계적 대치(Simple Imputation) - 평균(Mean), 중앙값(Median), 최빈값(Mode)으로 채웁니다. 계산이 빠르지만 데이터의 분산을 왜곡할 위험이 있습니다.
• Strategy 3: 시간적/논리적 대치(Interpolation) - 시계열 데이터에서 앞뒤 값을 이용해 추정하거나, 도메인 규칙에 따라 값을 할당합니다.
• Strategy 4: 머신러닝 기반 대치(Advanced Imputation) - KNN이나 Iterative Imputer를 사용하여 다른 변수들과의 상관관계를 이용해 최적의 값을 예측하여 채웁니다.

---

3. 실무 데이터 정제 해결 사례 7가지 (Examples)

파이썬의 Pandas와 Scikit-learn을 활용하여 실전에서 발생하는 결측치 문제를 해결하는 전문적인 예제입니다.

Example 1: 결측치 분포 시각화 및 정량적 탐지 해결

어느 변수에 결측치가 집중되어 있는지 파악하는 것이 분석의 시작입니다.

import pandas as pd
import numpy as np

# 데이터 로드 시 결측치 현황 파악
df = pd.read_csv('data.csv')
null_counts = df.isnull().sum()
null_ratio = (df.isnull().sum() / len(df)) * 100

# 결측률이 30% 이상인 열 목록 추출 해결
high_null_cols = null_ratio[null_ratio > 30].index.tolist()
print(f"삭제 권장 컬럼: {high_null_cols}")
        

Example 2: 조건부 그룹별 중앙값 대치 해결

전체 평균 대신, 특정 그룹(예: 직급별, 성별)의 중앙값으로 채워 데이터의 특성을 보존합니다.

# 'JobRole'별로 'Salary'의 결측치를 해당 직급의 중앙값으로 대치 해결
df['Salary'] = df['Salary'].fillna(df.groupby('JobRole')['Salary'].transform('median'))
        

Example 3: 시계열 데이터의 선형 보간법(Interpolation) 적용 해결

주가나 기온 데이터처럼 연속성이 중요한 데이터에서 유용한 해결책입니다.

# 시계열 데이터의 빈 공간을 앞뒤 흐름에 맞게 부드럽게 연결 해결
df['Temperature'] = df['Temperature'].interpolate(method='linear', limit_direction='both')
        

Example 4: Scikit-learn의 SimpleImputer를 활용한 파이프라인 구축

학습 데이터와 테스트 데이터에 동일한 대치 기준을 적용하여 데이터 누수(Leakage)를 방지합니다.

from sklearn.impute import SimpleImputer

# 수치형 데이터는 중앙값으로, 범주형은 최빈값으로 대치하는 전략 수립 해결
imputer = SimpleImputer(strategy='median')
df[['Age', 'Income']] = imputer.fit_transform(df[['Age', 'Income']])
        

Example 5: KNNImputer를 이용한 다변량 결측치 예측 해결

주변의 비슷한 특성을 가진 데이터 포인트들의 값을 참조하여 결측치를 채웁니다.

from sklearn.impute import KNNImputer

# 이웃 5개의 데이터를 참고하여 지능적으로 결측값 예측 해결
knn_imputer = KNNImputer(n_neighbors=5)
df_filled = pd.DataFrame(knn_imputer.fit_transform(df), columns=df.columns)
        

Example 6: 결측 여부 자체를 새로운 특징(Feature)으로 생성 해결

데이터가 비어 있다는 사실 자체가 중요한 정보를 담고 있을 때 사용하는 전문 기법입니다.

# 결측치 여부를 0과 1로 표시하는 'Missing_Indicator' 컬럼 추가 해결
# 모델이 결측의 패턴을 학습할 수 있도록 유도
df['Cabin_Unknown'] = df['Cabin'].isnull().astype(int)
        

Example 7: MICE(IterativeImputer)를 활용한 고급 회귀 대치 해결

변수 간의 상관관계를 회구 모델로 학습하여 가장 통계적으로 타당한 값을 도출합니다.

from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

# 다중 대치법을 통해 변수 간 관계를 반영한 정교한 채우기 해결
it_imputer = IterativeImputer(max_iter=10, random_state=0)
df_refined = it_imputer.fit_transform(df)
        

---

4. 결론: 최적의 결측치 처리는 도메인 이해에서 나옵니다

기술적으로 결측치를 채우는 방법은 다양하지만, 가장 중요한 해결책은 데이터의 비즈니스적 맥락을 이해하는 것입니다. 예를 들어, 설문 조사에서 소득 항목이 비어 있다면 이는 단순히 무작위 결측이 아니라 '고소득자의 응답 기피'라는 MNAR 유형일 가능성이 높습니다. 이럴 때는 단순히 평균으로 채우기보다 별도의 '미응답' 그룹으로 분류하는 것이 더 정교한 분석 결과를 낳습니다.

2026년의 데이터 분석 환경은 자동화된 결측치 처리 도구를 많이 제공하지만, 엔지니어의 판단력은 여전히 핵심입니다. 위에서 소개한 7가지 사례를 상황에 맞게 조합하여 데이터의 손실을 최소화하고 모델의 신뢰도를 높이는 전문가로 거듭나시길 바랍니다.

5. 내용의 출처 및 참고 문헌

• Pandas Official Documentation: Working with missing data
• Scikit-learn User Guide: Imputation of missing values
• Little & Rubin: Statistical Analysis with Missing Data (Wiley Series)
• Towards Data Science: Advanced Techniques for Missing Value Imputation 2026