모델 복잡도 제한을 위한 L1 / L2 규제

머신러닝에서 가중치(Weights)는 모델의 학습 가능한 파라미터로, 입력 데이터가 출력에 얼마나 영향을 미치는지를 결정합니다. 가중치는 모델이 데이터를 통해 학습하는 과정에서 조정되며, 최적의 예측을 하기 위해 수정됩니다. 선형 회귀 모델을 예시로 들겠습니다. 선형 회귀 모델에서는 다음과 같은 그래프를 볼 수 있습니다.

 

y = w1​x1​ + w2​x2​ + ⋯ + wn​xn​ + b

 

여기서:

• x1,x2,…,xn​는 입력 데이터의 특징(Features)입니다.
• w1,w2,…,wn​는 각 특징에 대응하는 가중치입니다.
• b는 편향(Bias)입니다.
• y는 예측된 출력 값입니다.

모델에 포함된 학습 가능한 파라미터의 개수, 레이어와 노드의 개수, 모델이 학습할 수 있는 함수의 형태, 결정 트리의 깊이, 가중치에 의한 노이지 등이 큰 경우 우리는 모델이 '복잡하다'라고 얘기합니다. 모델 복잡도가 너무 높으면 학습 데이터에 너무 잘 맞춰져서, 새로운 데이터에 대한 일반화 성능이 떨어질 수 있습니다. 이를 과대적합이라고 합니다.

SVM의 가우시안 커널 감마값을 100으로 했을 때 나타난 과대적합.

 

반면 모델 복잡도가 너무 낮으면 학습 데이터의 패턴을 충분히 학습하지 못해, 예측 성능이 낮아질 수 있습니다. 이때 우리는 규제를 통해 복잡도를 제한하거나, 차원축소를 통해 데이터 개수 자체를 줄여버릴 수 있습니다. 규제(Regularization)는 쉽게 말해 모델의 데이터값들이 이리저리 튀는 걸 줄여서 그래프를 원만하게 만드는 과정입니다.모델이 데이터의 잡음이나 불필요한 복잡성을 과도하게 학습하는 것을 방지하는 것입니다. 이를 통해 모델이 더 일반화된 성능을 갖도록 도와줍니다.

파란색: 규제 없이 표준화만 시행한 데이터

주황색: C=10^1로 L1 규제한 데이터

초록색: C==10^-1로 L1 규제한 데이터