[PYTHON] 고차원 데이터 시각화를 위한 t-SNE vs UMAP 2가지 알고리즘 성능 및 해석 차이 해결 방법

t-SNE vs UMAP

 

 

현대 데이터 과학과 머신러닝 분야에서 고차원 데이터(High-Dimensional Data)를 다루는 것은 피할 수 없는 과제입니다. 수백, 수천 개의 특성(Feature)을 가진 데이터를 인간의 눈으로 이해할 수 있는 2차원 또는 3차원 공간으로 투영하는 기술은 단순히 '그림을 그리는 것' 이상의 의미를 갖습니다. 이는 데이터의 구조적 특징을 파악하고, 모델의 의사결정 과정을 해석하며, 잠재된 패턴을 발견하는 차원 축소(Dimension Reduction)의 핵심입니다. 오늘날 가장 널리 쓰이는 비선형 차원 축소 기법은 t-SNE(t-Distributed Stochastic Neighbor Embedding)와 UMAP(Uniform Manifold Approximation and Projection)입니다. 본 가이드에서는 실무 개발자와 데이터 사이언티스트를 위해 두 알고리즘의 수학적 배경, 성능 차이, 그리고 파이썬(Python)을 활용한 7가지 실전 구현 예제를 상세히 다룹니다.

---

1. 고차원 시각화의 필요성과 비선형 알고리즘의 등장

과거에는 PCA(주성분 분석)와 같은 선형 방식이 주를 이뤘으나, PCA는 데이터의 전체적인 분산을 보존하는 데 집중할 뿐, 복잡한 비선형 관계를 가진 클러스터를 분리하는 데 한계가 있습니다. 이를 해결하기 위해 등장한 것이 매니폴드 학습(Manifold Learning) 기반의 알고리즘들입니다.

t-SNE의 특징

t-SNE는 데이터 포인트 간의 유사도를 확률적으로 모델링합니다. 고차원에서의 근접성을 저차원에서도 유지하도록 쿨백-라이블러 발산(Kullback-Leibler divergence)을 최소화합니다. 특히 Local Structure(지역적 구조)를 보존하는 능력이 탁월하여 클러스터링 시각화에 매우 유리합니다.

UMAP의 특징

UMAP은 리만 기하학(Riemannian geometry)과 대수적 위상수학(Algebraic Topology)에 뿌리를 두고 있습니다. t-SNE보다 연산 속도가 압도적으로 빠르며, 지역적 구조뿐만 아니라 Global Structure(전역적 구조)를 상대적으로 더 잘 보존한다는 장점이 있습니다.

---

2. t-SNE vs UMAP 성능 및 특성 비교

두 알고리즘의 결정적인 차이점을 이해하는 것은 실무에서 어떤 도구를 선택할지 결정하는 기준이 됩니다.

비교 항목	t-SNE (t-Distributed SNE)	UMAP (Uniform Manifold Approx.)
주요 보존 구조	지역적(Local) 구조 강조	지역적 및 전역적(Global) 구조 균형
계산 속도	데이터가 커질수록 기하급수적 증가 (느림)	대용량 데이터셋에서 매우 빠름 (효율적)
확장성	새로운 데이터 포인트 추가 어려움	학습된 모델에 새 데이터 투영 가능 (Transform)
핵심 파라미터	Perplexity (보통 5~50)	n_neighbors, min_dist
수학적 기반	확률 분포 기반 (SNE 개선)	위상수학 및 매니폴드 이론 기반
결정론적 특성	무작위성 강함 (매번 결과가 다를 수 있음)	상대적으로 안정적이며 재현성이 높음
해석의 용이성	클러스터 간 거리는 의미가 작음	클러스터 간 거리도 어느 정도 상대적 의미 보유

---

3. 실무 적용을 위한 Python 개발자 가이드 (7 Examples)

이 섹션에서는 scikit-learn, umap-learn 라이브러리를 활용하여 실무에서 즉시 활용 가능한 코드를 제공합니다. 모든 코드는 복사하여 바로 실행 가능하도록 구성되었습니다.

Example 1: 기본적인 t-SNE 시각화 (Scikit-learn 활용)

가장 기초적인 단계로, MNIST 필기체 숫자를 활용하여 t-SNE로 차원을 축소하는 방법입니다.

import matplotlib.pyplot as plt
from sklearn.manifold import TSNE
from sklearn.datasets import load_digits

# 데이터 로드
digits = load_digits()
data = digits.data
target = digits.target

# t-SNE 모델링
tsne = TSNE(n_components=2, perplexity=30, learning_rate='auto', init='pca', random_state=42)
projected = tsne.fit_transform(data)

# 시각화
plt.figure(figsize=(10, 7))
plt.scatter(projected[:, 0], projected[:, 1], c=target, cmap='jet', alpha=0.6)
plt.colorbar(label='Digit Class')
plt.title('t-SNE Visualization of Digits')
plt.show()

Example 2: UMAP을 이용한 고속 차원 축소

동일한 데이터에 UMAP을 적용하여 속도와 군집화의 차이를 확인합니다. (pip install umap-learn 필요)

import umap
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits

digits = load_digits()

# UMAP 모델링 (n_neighbors가 커질수록 전역적 구조 강조)
reducer = umap.UMAP(n_neighbors=15, min_dist=0.1, n_components=2, random_state=42)
embedding = reducer.fit_transform(digits.data)

plt.figure(figsize=(10, 7))
plt.scatter(embedding[:, 0], embedding[:, 1], c=digits.target, cmap='Spectral', s=5)
plt.gca().set_aspect('equal', 'datalim')
plt.title('UMAP Projection of the Digits Dataset', fontsize=16)
plt.show()

Example 3: Perplexity 값 변화에 따른 t-SNE의 해석적 차이

t-SNE에서 가장 중요한 하이퍼파라미터인 Perplexity의 변화가 결과물에 미치는 영향을 비교합니다.

import numpy as np

perplexities = [5, 30, 50, 100]
fig, axes = plt.subplots(1, 4, figsize=(20, 5))

for i, p in enumerate(perplexities):
    tsne = TSNE(n_components=2, perplexity=p, random_state=42)
    res = tsne.fit_transform(digits.data)
    axes[i].scatter(res[:, 0], res[:, 1], c=digits.target, s=2, cmap='tab10')
    axes[i].set_title(f'Perplexity: {p}')

plt.tight_layout()
plt.show()

Example 4: UMAP의 n_neighbors 최적화 전략

UMAP에서 이웃의 수(n_neighbors)는 로컬/글로벌 밸런스를 조절합니다.

neighbors_list = [2, 10, 50, 200]
fig, axes = plt.subplots(1, 4, figsize=(20, 5))

for i, n in enumerate(neighbors_list):
    reducer = umap.UMAP(n_neighbors=n, min_dist=0.1, random_state=42)
    res = reducer.fit_transform(digits.data)
    axes[i].scatter(res[:, 0], res[:, 1], c=digits.target, s=2, cmap='viridis')
    axes[i].set_title(f'n_neighbors: {n}')

plt.tight_layout()
plt.show()

Example 5: 대규모 데이터 처리 성능 비교 (Profiling)

실제 실무에서 데이터가 커질 때 두 알고리즘의 처리 시간을 측정합니다.

import time
from sklearn.datasets import make_blobs

# 10,000개의 샘플 데이터 생성
X, y = make_blobs(n_samples=10000, n_features=50, centers=10, random_state=42)

# t-SNE 시간 측정
start = time.time()
TSNE(n_components=2).fit_transform(X)
print(f"t-SNE Time: {time.time() - start:.2f} sec")

# UMAP 시간 측정
start = time.time()
umap.UMAP(n_components=2).fit_transform(X)
print(f"UMAP Time: {time.time() - start:.2f} sec")

Example 6: UMAP을 이용한 신규 데이터 투영 (Transform)

t-SNE와 달리 UMAP은 '학습' 개념이 있어 새로운 데이터 포인트를 기존 임베딩 공간으로 투영할 수 있습니다.

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(digits.data, digits.target, test_size=0.2)

# Train 데이터로 모델 적합
mapper = umap.UMAP(n_neighbors=15, random_state=42).fit(X_train)

# Test 데이터 투영 (기존에 학습되지 않은 데이터)
test_embedding = mapper.transform(X_test)

plt.scatter(test_embedding[:, 0], test_embedding[:, 1], c=y_test, cmap='Paired', s=10)
plt.title('Projection of Test Data onto UMAP Space')
plt.show()

Example 7: 3차원(3D) 시각화로의 확장

때로는 2차원만으로 설명되지 않는 복잡한 관계를 위해 3D 시각화가 필요합니다.

from mpl_toolkits.mplot3d import Axes3D

reducer_3d = umap.UMAP(n_components=3, n_neighbors=15, random_state=42)
embedding_3d = reducer_3d.fit_transform(digits.data)

fig = plt.figure(figsize=(10, 8))
ax = fig.add_subplot(111, projection='3d')
scatter = ax.scatter(embedding_3d[:, 0], embedding_3d[:, 1], embedding_3d[:, 2], 
                     c=digits.target, cmap='plasma', s=2)
plt.title('3D UMAP Visualization')
plt.show()

---

4. 고차원 데이터 시각화의 오류와 해결 방법

차원 축소 결과물을 해석할 때 주의해야 할 3가지 핵심 요소입니다.

1. 클러스터 크기의 함정: t-SNE에서는 클러스터의 물리적인 크기가 데이터의 분산을 직접적으로 의미하지 않습니다. Perplexity 설정에 따라 뭉쳐 보이거나 퍼져 보일 수 있습니다.
2. 거리의 상대성: t-SNE에서 떨어진 두 클러스터 사이의 거리는 의미가 없는 경우가 많습니다. 반면 UMAP은 전역 구조를 일부 보존하므로 상대적인 거리 해석이 조금 더 유효합니다.
3. 노이즈 판단: 데이터에 아무런 구조가 없어도 알고리즘은 억지로 클러스터를 만들어내려는 경향이 있습니다. 반드시 원본 데이터의 특성과 대조하는 과정이 필요합니다.

---

5. 결론: 어떤 알고리즘을 선택해야 하는가?

데이터가 1만 개 이하이고 지역적인 군집 형태를 아주 세밀하게 보고 싶다면 t-SNE를 추천합니다.
데이터가 수만 개 이상이거나, 실시간 서비스에 적용해야 하거나, 전역적인 데이터 흐름(Trajectory)을 파악해야 한다면 UMAP이 압도적인 해결책이 됩니다.

---

참고 문헌 및 출처

• Maaten, L. v. d., & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research.
• McInnes, L., Healy, J., & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv preprint arXiv:1802.03426.
• Scikit-learn Documentation: manifold.TSNE
• UMAP-learn Documentation (Read the Docs)
• Distill.pub: "How to Use t-SNE Effectively"