2주차 - Gradient descent

수업을 듣고 따로 메모한 내용을 다시 올리는 식입니다. 영상은 유튜브에서 모두의 딥러닝을 참고해주세요.

---

모딥
배우는 중간중간 목적을 잊어서 이 식을 왜 쓰는지 계속 되새겨 보도록 노력을 했어요.
Data를 가지고 w,b가 최소가 되는 점을 찾기 위해 Gradient descent (경사하강법) 알고리즘을 사용한다. 즉 매개변수 w,b 를 훈련 set 에 학습시키는 방법입니다. 
0.0과같이 아무 값에서 시작해도 경사도를 미분에서 구해서 항상 최저점에 도달할 수 있기 때문이다. 
이러한 학습과정을 통해 model 을 만든다.
이것들을 먼저 이해하는데 노력한 후에 수학공식을 다시금 보며 더 확실히 이해했습니다. 

Edwith
L함수. 즉, 손실함수는 알고리즘이 얼마나 잘 작동되는지 알아보기 위해 쓰이며 출력된 y예측값, 참값y의 오차를 구하는 식입니다. 참값 y가 0,1 일때 식에 대입해 결과값을 보며 y예측값의 범위를 알아봤습니다. 최대한 작은 결과가 나와야 잘 작동되는 알고리즘이기 때문입니다.
비용함수는 위에서 찾은 알고리즘으로 훈련함수가 얼마나 잘 측정되었는지 보기 위해 쓰입니다. 손실함수를 평균 내 가장 작은 값이 좋은 함수라고 이해했습니다. 
모딥에서 나온 경사하강법 알고리즘을 설명하는데 결국 이 알고리즘을 쓰는 목적은 기울기를 구해 더 효과적인 minimal 한 함수를 찾기 위한 것 이라고 이해했습니다. 

---

(데마님 스터디 내용)

 

모딥)
선형회귀와 다변수 선형회귀의 개념을 알아보고 실제로 구현을 해보았다
- 훈련세트의 데이터로부터 상관관계 혹은 피쳐 등을 파악하여 새로운 인풋 데이터에 대한 예측 결과를 도출하는 것
- 가중치와 편향치를 찾아 이로부터 선형회귀 그래프를 도출 해 낼 수 있다
- 입력과 출력의 관계가 선으로 표현되는 어떠한 상관관계를 이룰 경우 선형이라고 부른다 (비선형도 존재)

 

추가 공부자료 : blog.naver.com/beyondlegend/222161076326

 

Edwith)
벡터화와 로지스틱회귀, 신경망 네트워크에 대해서 공부했다
- 벡터화란 한번에 처리하는 데이터의 양을 늘려 CPU 사용률을 높이고 처리속도를 빠르게 하는 기법이다.
- 병렬 프로세서가 벡터화 연산을 가능하게 한다.
- 저번주차에 확인했던 내용인 로지스틱 회귀에 대해 다시 공부하면서 더 심층적인 이해를 할 수 있었다.
- 신경망 네트워크는 생물의 신경망에서 아이디어를 얻은 통계학적 학습 알고리즘이다.
- 워런 맥털록, 월터 피츠가 발표한 MCP 뉴런에서 시작되었으며, 이후 로젠블라트의 퍼셉트론 등으로 발전하며 현재의 위치까지 오게 되었다.
- 퍼셉트론은 XOR 문제를 해결하지 못한다는 지적 등에 가로막혀 한 때 연구가 동결되었으나, 이미지 인식 분야에서 압도적인 성능을 보이며 성능을 인정받아 다시 활발히 연구가 진행되었다.