Regression & Classification
회귀란, 일반적으로 데이터들을 2차원 공간에 찍은 후에 이들 데이터들을
가장 잘 설명하는 직선이나 곡선을 찾는 문제이다.
분류란, 데이터들을 2차원 이상의 공간에 찍었을 때, 서로 다른 클래스의 점들을 가장 잘 구분하도록
공간을 나누는 경계(직선/곡선/면)을 찾는 문제이다.
Linear Regression
선형 회귀는 y=f(x)에서 출력 y가 실수이고 입력 x도 실수일 때 함수 f(x)를 예측하는 것이다.
선형 회귀의 원리에는 데이터를 가장 잘 설명하는 직선을 찾는 것에 있다.
선형 회귀의 기본식: f(x) = Wx+b
===>입력 데이터를 가장 잘 설명하는 기울기와 절편값을 찾는 문제가 바로 선형회귀.
기울기는 곧 가중치이고, 절편이 바이어스가 된다.
선형 회귀의 종류에는 두 가지가 있다.
1) 단순 선형 회귀: 독립 변수가 하나인 선형 회귀를 의미한다.
2) 다중 선형 회귀: 독립 변수가 여러 개인 경우를 의미한다.
선형 회귀의 원리는 데이터를 가장 잘 설명하는 직선을 찾는 것에 있다.
직선과 데이터의 거리가 좁을수록 그 직선이 데이터를 잘 설명한다는 뜻이므로,
거리를 계산한 후, 간격이 가장 작은 직선을 선택하면 된다.
손실함수(Loss Fuction)
직선과 데이터 사이의 간격을 제곱하여 합한 값. Cost Function이라고 부르기도 한다.
직선과 데이터 사이의 간격은 작아야 하기에, 손실함수도 최소화 해야한다.
손실함수를 최소하 하는 데에는 두 가지 방법이 있다.
1) 최소 제곱법
- 독립 변수와 종속 변수가 각각 하나인 선형 회귀
2) 경사 하강법 (Gradient Descent Method)
- 경사 하강법은 손실 함수가 어떤 형태이라도, 또 매개 변수가 아무리 많아도 적용할 수 있는 일반적인 방법이다!
(점진적인 학습이 가능하심)
경사 하강법
경사 하강법은 함수의 값을 작게 만드는 방향으로 조금씩 이동해 최솟값을 찾는 방법이다.
Gradient는 접선의 기울기로 이해하면 된다.
따라서 접선의 기울기가 양수이면 가중치를 감소시키고, 접선의 기울기가 음수이면 가중치를 증가시킨다.
학습률 = 한 번에 매개변수를 변경하는 비율을 의미
학습률은 그래프상에서 얼마나 빨리 최솟값을 찾는지에 영향을 미친다.
학습률이 너무 낮을 경우 학습이 느려지고,
학습률이 너무 높을 경우, 발산하는 형태로 최솟값을 찾게 되어 잘못된 학습을 할 수 있다.
너무 작거나 큰 학습률을 사용할 경우, 전체 함수에서의 최솟값이 아니라
특정 지역에서만 최솟값인 값을 찾는 지역 최솟값 문제가 발생할 수 있다.
과잉 적합 vs 과소 적합
(Overfitting)과잉적합이란, 학습하는 데이터에서는 성능이 뛰어나지만 새로운 데이터에 대해서는 그만큼 성능이 잘 나오지 않는 경우를 의미한다. 반면 Underfitting이란 학습 데이터에서도 성능이 좋지 않은 경우를 의미한다. 이 경우에는 모델 자체가 적합하지 않은 경우도 많아서, 모델을 수정하기보다는 다른 더 나은 모델을 찾는 것이 더 좋다.