728x90 가중치감소1 [PYTHON] Overfitting 방지를 위한 L1/L2 Regularization의 3가지 수학적 해석과 Weight Decay 해결 방법 딥러닝과 머신러닝 모델을 설계할 때 가장 큰 숙제는 훈련 데이터에만 지나치게 최적화되는 과적합(Overfitting)을 어떻게 제어하느냐입니다. 모델이 복잡해질수록 가중치($w$)의 절대값이 커지는 경향이 있으며, 이는 결정 경계가 요동치는 결과를 초래합니다. 이를 해결하기 위해 우리는 비용 함수(Cost Function)에 페널티 항을 추가하는 규제(Regularization) 기법을 사용합니다.본 포스팅에서는 L1(Lasso)과 L2(Ridge) 규제가 수학적으로 어떻게 가중치를 수축시키는지, 그리고 옵티마이저의 관점에서 가중치 감소(Weight Decay)와 규제가 구체적으로 어떤 차이를 갖는지 심층적으로 분석합니다.1. L1 vs L2 Regularization의 수학적 정의와 특징기본적인 손실 .. 2026. 4. 28. 이전 1 다음 728x90
