728x90 InfoNCE1 [PYTHON] Contrastive Learning에서 Negative Sample 개수 최적화 방법과 임베딩 품질 차이 해결 전략 7가지 최근 자기지도 학습(Self-Supervised Learning)의 핵심 기술로 자리 잡은 대조 학습(Contrastive Learning)은 라벨이 없는 방대한 데이터로부터 고차원의 의미론적 특징을 추출하는 데 탁월한 성능을 보입니다. 이 프로세스의 핵심은 "유사한 것은 가깝게, 다른 것은 멀게" 배치하는 것입니다. 여기서 가장 논쟁적인 주제 중 하나가 바로 네거티브 샘플(Negative Samples)의 개수입니다. 샘플이 부족하면 모델이 변별력을 잃고, 너무 많으면 연산 비용이 기하급수적으로 증가하며 'Hard Negative'에 의한 학습 불안정이 발생합니다. 본 포스팅에서는 네거티브 샘플 수가 임베딩 공간의 구조적 품질(Alignment & Uniformity)에 미치는 영향을 심층 분석하고, .. 2026. 4. 15. 이전 1 다음 728x90
