coursera 머신러닝 강의 1주차 강의 내용 정리 (선형회귀, 비용함수, 경사하강)

 

GPT와 인공지능 입문용 학습자료 찾기

 

 

 

GPT에게 추천받은 강의로 머신러닝 지도학습(회귀 및 분류)에 대한 앤드류 응(Andrew Nn)교수님의 강의를 수강하고 있다. 총 3주차로 예정 된 수업중에 1주차를 모두 수강하였다.

 

 

 

 

머신러닝(Machine Learning), 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning)의 정의에 대해 배웠다.

응 박사님에 의하면 현재 머신러닝으로 창출되는 경제적 가치의 99%가 지도학습이라고 한다. 스팸 필터, 음성인식, 번역기, 타겟광고 등 모두 머신러닝 기술을 사용한다. 웹, 앱을 사용하다보면 흔히 만날 수 있는 타겟 광고들이 바로 머신러닝의 예이다.

 

1주차 강의에서 배운내용!

입력값(input value, x) 와 목표값(target value, y)

* 입력값(input value/feature)을 x, 목표값(target value, 정답)을 y로 나타내고, 모델은 이 두 값의 관계를 학습한다.

 

선형회귀 (Linear Regression) 방정식

* 선형회귀에서 예측값(prediction, y햇)은 wx + b 로 계산되는데 이것이 선형회귀 방정식이다.

 

%% \hat{y} = w \cdot x + b %%

 

* 2차원 그래프에서 w는 데이터들의 예측값들을 나타내는 선의 기울기를 결정하고 b는 y축의 절편을 결정한다.

* 즉, 데이터들의 경향을 가장 잘 나타낼 수 있는 선을 w, b 값을 조정하여 찾아가야 한다.

 

오차를 계산하기 위한 비용함수 (Cost Function)

* 최적화 된 w, b 를 찾기위해서는 예측치(prediction, y-hat)와 목표값과의 차이, 즉 오차(error)를 계산해야 하는데,

* 오차를 계산하기 위해 비용함수를 사용한다.

* 비용함수를 계산하려면 각 데이터 행에 대해 오차 제곱을 계산한 것을 모두 더하고, 데이터 개수만큼 나누어 평균을 구하면 된다.

 

비용함수

%% \frac{1}{2m} \sum_{i=1}^{m} \left( \hat{y}^{(i)} - y^{(i)} \right)^2 %%

 

 

경사하강법 (Gradient Descent)

 

* 오차를 최소화하는 최적의 w, b 값을 구하는 방법 중 하나는 경사하강(Gradient descent)를 이용하는 것이다.

* 비용함수에서 평균을 구하는데 m이아니라 2m을 사용한 이유는 경사하강법을 활용할 때 미분하기 위해서이다.

* 보통 w = 0, b = 0 세서 시작하여  기울기를 따라 조금씩 내려가면서 오차가 최소화 될 때 까지 값을 조정한다

* 경사하강법은 비용함수의 미분을 사용하여 기울기를 계산 한 뒤 w, b 값을 업데이트 하고 다시 평가하는 방식으로 적용한다. 

출처: coursera machine learning 강의 1주차: 선형회귀를 위한 그라데이션 하강 (4분 13초)

 

경사하강을 사용하여 w와 b를 업데이트 하는 과정을 그래프에 나타내면 아래와 같다.

차례데로, 선형회귀 그래프, 2차원 비용함수 그래프, 3차원 비용함수 그래프이다.

2차원 비용함수 그래프는 3차원 비용함수 그래프를 여러 비용함수 높이에서 수평으로 자른 형태로 나타내며 중앙이 가장 최소값이다.

3차원 비용함수 그래프는 깊이가 있기 때문에 가장 낮은 지점이 오차가 최소화 되는 지점이다.

 

경사하강법은 w = 0, b = 0 에서 시작해서 오차가가 최소화 되는 지점으로 이동하면서 최적의 경향성(선)을 찾아간다.

 

출처: coursera machine learning 강의 1주차: 러닝 경사 하강 (1분 37초)

 

 

* 이를 통해 오차를 최소화 하는 w, b 를 구할 수 있고, 최적화 된 선형회귀 모델을 만들 수 있다.

 

 

---

 

확실히 쉬운데도 주요 개념을 정확히 이해할 수 있었고,

공식 뿐 아니라 공식의 직관을 키울 수 있는 명강의 이다.