[딥러닝] 선형 회귀와 최소 제곱법

딥러닝의 가장 말단에서 이루어지는 가장 기본적인 두가지 계산 원리가 있다. 

1. 선형 회귀(linear regression)  2. 로지스틱 회귀(logistic regression)

 

오늘은 먼저 선형회귀를 알아보도록 하자!

 

 

선형 회귀 linear regression

선형회귀는 종속변수(y)와 한 개 이상의 독립 변수(x1, x2...)의 선형관계를 모델링 하는 회귀분석 기법이다.

독립 변수가 하나인 경우를 단순 선형회귀라 하고, 둘 이상인 경우 다중 선형회귀라 한다.

 

 

선형 회귀는 선형 예측 함수를 사용해 회귀식을 모델링한다. 알려지지 않은 파라미터는 데이터를 활용하여 예측한다.

이렇게 만들어진 회귀식을 선형 모델이라고 한다.

출처 : 위키백과 '선형회귀'

 

선형은 다음과 같은 일차함수의 형태를 띈다.

y = ax + b

 

선형 회귀의 목표는 알고 있는 데이터(x,y)로 알려지지 않은 데이터(a,b)를 예측하는 것이다.

기존 데이터를 기반으로 정확한 선을 그리기 위해서는 기울기 a와 y절편 b를 알아야 한다.

a,b 값을 얻기 위해 가장 많이 사용되는 방법은 최소제곱법이다.

 

 

 

 

최소 제곱법  method of least square

최소 제곱법은 어떤 계의 해방정식을 근사적으로 구하는 방법으로,

근사적으로 구하려는 해와 실제 해의 오차의 제곱의 합이 최소가 되는 해를 구하는 방법이다.

 

출처 : 위키백과 '최소제곱법'

 

최소 제곱법 공식을 알고 적용한다면, 이를 통해 일차 함수의 기울기 와 절편을 바로 구할 수 있다.

최소 제곱법은 x값이 하나일때 적용 가능하다.

x값이 여러개인 다중 선형회귀의 경우 경사하강법을 이용한다. 

 

 

최소 제곱법은 임의의 선을 그리고 선을 평가하여 수정하는 방법 사용한다.

따라서, 주어진 선의 오차를 평가하는 오차평가 알고리즘이 필요하다. 

이때, 주로 평균 제곱 오차(MSE, mean square error)를 사용한다.

 

 

기울기 a를 구하는 공식은 다음과 같다.

 

$$ a = \frac{\sum (x - mean(x))(y - mean(y))}{\sum (x - mean(x))^{2})} $$

 

 

y절편인 b를 구하는 공식은 다음과 같다.

  $$ b = mean(y) - (mean(x)*a) $$

 

 

 

앞에 설명한 과정을 통해 일차함수 식 y = ax + b에서 a, b의 값을 얻을 수 있다.

일차함수 식에 새로운 x값을 넣으면 예측값인 y를 알 수 있다. 

 

 

 

선형회귀

선형 회귀 - 위키백과, 우리 모두의 백과사전

 

 

최소제곱법

최소제곱법 - 위키백과, 우리 모두의 백과사전

* 이 글은 책 '모두의 딥 러닝'을 참고하였다.