728x90 머신러닝2 Lasso Feature Selection (Embedded method) python 이전 포스트에 이어서 작성하는 내용입니다. 2022.01.14 - [공부/통계학] - Stepwise Feature Selection (단계선택법) python Stepwise Feature Selection (단계선택법) python 이전 Wrapper method를 다룬 Backward Feature Selection (후진제거법, python)에 이어서 작성하는 포스트입니다. 2022.01.13 - [공부/모델링] - Backward Feature Selection (후진제거법) python Backward Featur.. signature95.tistory.com 2022.02.22 - [공부/머신러닝] - Ridge regression (릿지 회귀) python Ridge regression (.. 2022. 4. 19. Ridge regression (릿지 회귀) python 릿지 회귀분석은 선형회귀분석의 과대적합 문제를 해소하기 위해 L2 규제를 적용하는 방식을 사용합니다. 과대 적합은 다음과 같은 표로 해석할 수 있습니다. 전체 Error는 분산과 편향의 제곱 합으로 표시할 수 있습니다. 즉 전체 Error를 최소화하는 회귀분석이 Least Square Method, 즉 OLS인 것입니다. 밑에 식을 한번 보겠습니다. N은 데이터의 개수입니다. 만약 1000개의 샘플데이터가 있다면 N=1000이 되는 것이죠. P는 feature의 개수입니다. 단순선형회귀인 경우에는 P=1이 되고 다중회귀에서는 P가 2이상인 값을 가집니다. y는 실제 target의 값입니다. ß는 가중치로서 OLS의 feature 계수라고 보시면 됩니다. 람다는 ridge 모형의 하이퍼파라미터로 alpha.. 2022. 2. 22. 이전 1 다음 728x90
