[PYTHON] 벡터 유사도 검색 성능을 높이는 HNSW 인덱싱 원리와 활용 방법 7가지 해결책

HNSW (Hierarchical Navigable Small World)

1. 벡터 검색의 시대, 왜 HNSW인가?

대규모 언어 모델(LLM)과 RAG(Retrieval-Augmented Generation) 시스템이 보편화되면서, 수백만 개 이상의 고차원 벡터 데이터에서 유사한 항목을 빠르게 찾아내는 기술이 핵심 경쟁력이 되었습니다. 단순히 모든 데이터를 전수 조사하는 Flat Search(L2, IP) 방식은 데이터가 늘어남에 따라 선형적으로 속도가 느려지는 치명적인 한계가 있습니다. 이러한 성능 병목을 해결하기 위한 가장 강력한 알고리즘이 바로 HNSW (Hierarchical Navigable Small World)입니다. HNSW는 그래프 이론의 'Small World' 네트워크 구조를 다층 구조로 확장하여, O(log N)이라는 경이로운 검색 복잡도를 실현합니다. 본 포스팅에서는 HNSW의 내부 작동 원리를 깊이 있게 파헤치고, Python을 통해 실무에 즉시 적용 가능한 가속화 기법들을 상세히 다룹니다.

---

2. 검색 방식의 진화: Flat vs IVF vs HNSW 차이점 비교

효율적인 인덱싱 전략을 선택하기 위해서는 각 알고리즘의 트레이드오프(Trade-off)를 명확히 이해해야 합니다. 아래 표를 통해 성능과 정확도, 메모리 효율성을 비교해 보십시오.

구분	Flat Index	IVF (Inverted File)	HNSW (Hierarchical NSW)
검색 속도	매우 느림 (O(N))	빠름 (클러스터링 기반)	매우 빠름 (O(log N))
정확도 (Recall)	100% (Brute-force)	보통 (클러스터 경계 손실 가능)	매우 높음 (그래프 탐색)
메모리 사용량	낮음 (데이터만 저장)	보통 (코드북 추가)	높음 (그래프 간선 정보 저장)
데이터 업데이트	용이함	인덱스 재학습 필요	실시간 추가 가능
적합한 규모	1만 건 이하 소규모	100만 건 이상 대규모	중대규모 및 실시간 검색

---

3. Python 기반 HNSW 실전 구현 및 최적화 Example 7선

실무에서 벡터 검색 엔진을 구축할 때 마주하는 기술적 난제들을 해결할 수 있는 코드 예제입니다. Faiss 및 hnswlib 라이브러리를 기준으로 작성되었습니다.

Example 1: Faiss를 이용한 기본 HNSW 인덱스 구축

가장 표준적인 HNSW 인덱스 생성 방법입니다. M(각 노드의 간선 수) 값을 조정하여 성능을 제어합니다.

import faiss
import numpy as np

dimension = 128  # 벡터 차원
nb_data = 100000 # 데이터 개수
data = np.random.random((nb_data, dimension)).astype('float32')

# HNSW 인덱스 생성 (M=32: 각 노드당 32개의 연결을 가짐)
index = faiss.IndexHNSWFlat(dimension, 32)
index.hnsw.efConstruction = 40  # 인덱스 구축 시 탐색 범위
index.add(data)

print(f"인덱스 구축 완료: {index.ntotal} 개 벡터 저장됨")
        

Example 2: 검색 정확도(Recall) 조절을 위한 efSearch 설정

검색 시 efSearch 값을 높이면 정확도는 올라가지만 속도는 느려집니다. 실시간 요구사항에 맞게 튜닝하는 해결책입니다.

query_vector = np.random.random((1, dimension)).astype('float32')

# efSearch 파라미터 튜닝 (기본값은 보통 16)
index.hnsw.efSearch = 64 
distances, indices = index.search(query_vector, k=5)

print(f"최근접 5개 인덱스: {indices}")
        

Example 3: HNSW와 Product Quantization(PQ)의 결합으로 메모리 절약

HNSW는 메모리 점유율이 높습니다. 이를 해결하기 위해 벡터를 압축하여 저장하는 HNSWPQ 기법을 적용합니다.

m_sub = 8 # 서브 벡터 개수
nbits = 8 # 각 서브 벡터당 비트 수
# HNSW 내부에 PQ 적용
index_pq = faiss.IndexHNSWPQ(dimension, 32, m_sub, nbits)
index_pq.train(data) # PQ는 코드북 학습이 필요함
index_pq.add(data)
        

Example 4: 실시간 증분 데이터 업데이트(Incremental Updates)

데이터가 실시간으로 유입되는 환경에서 별도의 재학습 없이 인덱스에 추가하는 방법입니다.

import hnswlib

p = hnswlib.Index(space='l2', dim=dimension)
p.init_index(max_elements=nb_data + 1000, ef_construction=200, M=16)

# 초기 데이터 추가
p.add_items(data)

# 신규 데이터 1건 실시간 추가
new_vector = np.random.random((1, dimension))
p.add_items(new_vector)
        

Example 5: 특정 데이터 삭제 및 인덱스 관리

HNSW 그래프 구조에서 특정 노드를 논리적으로 삭제하여 검색 결과에서 제외하는 해결책입니다.

# 인덱스 라벨을 지정하여 삭제 처리 (hnswlib 기준)
p.mark_deleted(0) # 0번 인덱스 데이터 삭제
        

Example 6: 멀티 프로세싱을 활용한 대용량 인덱스 병렬 구축

수백만 건의 데이터를 인덱싱할 때 CPU 코어를 모두 활용하여 구축 시간을 단축하는 방법입니다.

# hnswlib은 기본적으로 멀티스레딩을 지원합니다.
p.set_num_threads(8) # 8개 스레드 사용
p.add_items(data)
        

Example 7: 인덱스 직렬화 및 로컬 저장/로드

학습된 고비용의 인덱스를 파일로 저장하고 빠르게 복구하여 서빙하는 방법입니다.

# Faiss 인덱스 저장
faiss.write_index(index, "vector_storage.index")

# 필요 시 다시 로드
loaded_index = faiss.read_index("vector_storage.index")
        

---

4. HNSW 성능 최적화를 위한 핵심 파라미터 해결 가이드

HNSW의 성능은 크게 3가지 파라미터에 의해 결정됩니다. 개발자가 실무에서 겪는 속도 저하 문제를 해결하기 위한 가이드라인입니다.

• M (Max Connections): 각 노드가 가질 수 있는 최대 간선 수입니다. 값이 클수록 고차원 데이터에서 정확도가 올라가지만, 인덱스 크기가 커지고 검색 속도가 감소합니다. (권장: 12~64)
• efConstruction: 인덱스 구축 단계에서 후보군을 얼마나 넓게 탐색할지 결정합니다. 구축 속도와 관련이 있으며, 보통 M의 2~4배를 설정합니다.
• efSearch: 실제 쿼리 시의 탐색 범위입니다. 이는 인덱스 구축 후에도 변경 가능하며, Latency vs Recall 최적화의 핵심 레버입니다.

---

5. 결론: 고성능 벡터 검색 시스템 구축을 위한 제언

HNSW는 단순한 알고리즘을 넘어 AI 서비스의 실시간성을 보장하는 핵심 인프라 기술입니다. 특히 Python 생태계의 Faiss, Milvus, Pinecone 등의 도구들은 내부적으로 HNSW를 최적화하여 사용하고 있습니다. 데이터의 특성에 따라 적절한 M값과 압축 기법(PQ)을 혼합한다면, 수억 건의 데이터에서도 밀리초(ms) 단위의 응답 속도를 확보할 수 있을 것입니다.

내용 출처

• Malkov, Y. A., & Yashunin, D. A. (2018). "Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs." IEEE TPAMI.
• Facebook AI Research (FAISS)  
• HNSWLIB GitHub Repository (Original C++ implementation with Python bindings)
• Microsoft Research: "Vector Search at Scale" technical report