[PYTHON] 상관계수 히트맵 해석하는 3가지 방법과 데이터 노이즈 해결 방안

Correlation Heatmap

 

데이터 분석의 초기에 우리는 변수들 사이의 관계를 파악하기 위해 상관계수 히트맵(Correlation Heatmap)을 가장 먼저 그려봅니다. 단순히 색깔이 진하고 연함을 넘어, 이 지표가 비즈니스적으로 어떤 의미를 갖는지, 그리고 분석 결과의 신뢰도를 떨어뜨리는 다중공선성 문제를 어떻게 해결해야 하는지가 숙련된 분석가의 역량을 결정짓습니다. 본 글에서는 파이썬을 활용한 상관계수 히트맵의 완벽한 해석 가이드와 실무 적용 예시를 다룹니다.

---

1. 상관계수의 종류와 히트맵 해석의 기초

히트맵은 보통 -1에서 1 사이의 값을 가지는 피어슨 상관계수를 시각화합니다. 하지만 데이터의 성격에 따라 스피어먼이나 켄달 타우를 사용해야 할 때도 있습니다. 각 지표의 차이와 히트맵 색상 농도에 따른 해석 기준을 표로 정리했습니다.

상관계수 해석 기준 및 특징 비교

구분	피어슨 (Pearson)	스피어먼 (Spearman)	해석 방법
데이터 성격	연속형, 정규분포	서열형, 비선형 관계	0.7 이상: 강한 양의 상관
관계 측정	선형적 관계	단조적 관계	0.3 ~ 0.7: 뚜렷한 상관
이상치 민감도	매우 높음	낮음 (강건함)	0.1 ~ 0.3: 약한 상관
히트맵 활용	기본값으로 가장 많이 사용	순위 데이터 분석에 적합	0: 상관관계 없음

---

2. 실무자를 위한 파이썬 상관계수 시각화 Example 7선

단순히 `sns.heatmap(df.corr())`만 입력하는 단계를 넘어, 실무에서 보고용으로 즉시 사용 가능한 고급 테크닉들입니다.

Example 1: 기본 피어슨 상관계수 히트맵 (Standard)

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# 샘플 데이터 생성
data = sns.load_dataset('iris')
corr = data.corr(numeric_only=True)

plt.figure(figsize=(8, 6))
sns.heatmap(corr, annot=True, cmap='RdBu_r', linewidths=0.5)
plt.title("Iris Dataset Correlation")
plt.show()

Example 2: 대각선 중복 제거 히트맵 (Masking)

import numpy as np

# 가독성을 위해 상단 삼각형 마스킹 처리
mask = np.triu(np.ones_like(corr, dtype=bool))

plt.figure(figsize=(8, 6))
sns.heatmap(corr, mask=mask, annot=True, cmap='YlGnBu', fmt=".2f")
plt.title("Masked Correlation Heatmap")
plt.show()

Example 3: 특정 타겟 변수와의 상관관계만 추출 (Target Focused)

# 종속 변수(예: petal_width)와의 상관관계만 정렬하여 확인
target_corr = corr[['petal_width']].sort_values(by='petal_width', ascending=False)

sns.heatmap(target_corr, annot=True, cmap='Greens', cbar=False)
plt.title("Correlation with Petal Width")
plt.show()

Example 4: 스피어먼 순위 상관계수 적용 (Non-linear)

# 비선형적 관계 파악을 위한 스피어먼 방법
spearman_corr = data.corr(method='spearman', numeric_only=True)

sns.heatmap(spearman_corr, annot=True, cmap='coolwarm')
plt.title("Spearman Rank Correlation")
plt.show()

Example 5: 클러스터 맵을 통한 그룹화 분석 (Clustermap)

# 변수들 간의 유사도에 따라 행과 열을 재배치
sns.clustermap(corr, annot=True, cmap='magma', figsize=(7, 7))
plt.show()

Example 6: 다중공선성 임계값 필터링 (Threshold Filtering)

# 상관계수가 0.8 이상인 '위험군' 변수들만 시각화
high_corr = corr[abs(corr) >= 0.8]

sns.heatmap(high_corr, annot=True, cmap='Reds')
plt.title("High Multi-collinearity Variables (>0.8)")
plt.show()

Example 7: 인터랙티브 히트맵 제작 (Plotly 활용)

import plotly.express as px

# 웹에서 마우스 오버로 값을 확인할 수 있는 동적 히트맵
fig = px.imshow(corr, text_auto=True, color_continuous_scale='RdBu_r')
fig.update_layout(title="Interactive Correlation Matrix")
fig.show()

---

3. 상관계수 히트맵 해석 시 주의할 3가지 해결책

데이터를 분석할 때 초보자가 가장 많이 하는 실수는 '상관관계'를 '인과관계'로 오해하는 것입니다. 이를 방지하기 위한 전문적인 접근법을 소개합니다.

• 해결책 1: 인과관계 혼동 금지 - 상관계수가 높다고 해서 한 변수가 다른 변수의 원인이 되지는 않습니다. 제3의 변수가 숨어 있을 가능성(잠재 변수)을 항상 염두에 두어야 합니다.
• 해결책 2: 다중공선성(Multicollinearity) 처리 - 히트맵에서 0.9 이상의 너무 높은 상관관계가 발견되면, 이는 회기 모델의 성능을 왜곡하는 다중공선성 신호일 수 있습니다. 이 경우 VIF(Variance Inflation Factor)를 추가로 계산하여 변수를 제거하거나 PCA(주성분 분석)를 고려해야 합니다.
• 해결책 3: 산점도(Scatter Plot) 병행 - 상관계수는 숫자일 뿐입니다. 안스콤의 4분할(Anscombe's Quartet) 사례처럼 상관계수는 같아도 실제 데이터 분포는 완전히 다를 수 있으므로 반드시 산점도를 통해 시각적 검증을 거치십시오.

---

4. 결론: 전략적 데이터 시각화의 가치

파이썬의 Matplotlib과 Seaborn을 활용한 히트맵은 데이터의 복잡한 구조를 한눈에 보여주는 강력한 도구입니다. 하지만 진정한 데이터 사이언티스트는 그림을 그리는 것에 그치지 않고, 그 속에 숨겨진 비즈니스 임팩트를 찾아냅니다. 본 가이드에서 제시한 7가지 코드와 3가지 해결책을 실무에 적용하여 더 깊이 있는 인사이트를 도출해 보시기 바랍니다.

 

출처: 1. Pandas Documentation - Correlation Methods

         2. Seaborn API Reference - Heatmap

         3. Hands-On Machine Learning with Scikit-Learn (Aurélien Géron)