다중 회귀모델의 규제 : 라쏘, 릿지, 엘라스틱넷

목차

-규제란

-종류 및 언제 쓰는가

---

규제란 

규제 = Regularization = 패널티 = 변수 선택 = 하이퍼파라미터 알파(규제강도)

다중 회귀모델에서는 여러 독립변수들의 각각의 최적의 가중치(기울기)를 찾는 것이 핵심인데 그 방법으로는 규제를 가하는 것이다.  

즉!
-설명력이 좋은 변수는 남기고 좋지 않은 변수는 버리는 방식
-규제란 다른 쉬운 말로 변수선택
-과적합 방지
-회귀식을 더 간단하게 만들어 연산 속도를 높이고 일반화를 잘 유도

---

종류 및 언제 쓰는가

출처 : (좌) 장철원쌤 수업 ppt/ (우) 티스토리 데이터 가드너님 게시글

절댓값 그래프는 다이아몬드 모양

제곱의 합의 그래프는 원형 모양

출처 :  (좌) 티스토리 rk1993님 게시글 / (우) 장철원쌤 수업 ppt

 

1. L1 라쏘(lasso = 올가미란 뜻, 절댓값) :

설명력이 낮은 변수를 0에 가깝게(영향력 감소)

일부 피처들이 중요하지 않다면 라쏘를

절댓값은 미분하기가 복잡하다(차원축소의 효과가 있다)

 

2. L2 릿지(제곱) :

설명력이 낮은 변수를 0으로(영향력 무력화)

일부 피처들이 중요하다면 릿지를

제곱의 합은 미분 가능해서 값이 딱 떨어진다(차원 축소x)

 

3. 엘라스틱넷(배합) : 

애매하면 엘라스틱넷을