다중 회귀모델의 규제 : 라쏘, 릿지, 엘라스틱넷

머신러닝

주니코니 2023. 9. 10. 15:12

-규제란

-종류 및 언제 쓰는가

규제 = Regularization = 패널티 = 변수 선택 = 하이퍼파라미터 알파(규제강도)

다중 회귀모델에서는 여러 독립변수들의 각각의 최적의 가중치(기울기)를 찾는 것이 핵심인데 그 방법으로는 규제를 가하는 것이다.

즉!
-설명력이 좋은 변수는 남기고 좋지 않은 변수는 버리는 방식
-규제란 다른 쉬운 말로 변수선택
-과적합 방지
-회귀식을 더 간단하게 만들어 연산 속도를 높이고 일반화를 잘 유도

절댓값 그래프는 다이아몬드 모양

제곱의 합의 그래프는 원형 모양

1. L1 라쏘(lasso = 올가미란 뜻, 절댓값) :

설명력이 낮은 변수를 0에 가깝게(영향력 감소)

일부 피처들이 중요하지 않다면 라쏘를

절댓값은 미분하기가 복잡하다(차원축소의 효과가 있다)

2. L2 릿지(제곱) :

설명력이 낮은 변수를 0으로(영향력 무력화)

일부 피처들이 중요하다면 릿지를

제곱의 합은 미분 가능해서 값이 딱 떨어진다(차원 축소x)

3. 엘라스틱넷(배합) :

애매하면 엘라스틱넷을