3주차 Sigmoid

모두의 딥러닝 강의를 보며 필기한 내용입니다.




- sigmoid, Logistic function
: g(z) 가 무한대로 커지더라도 1에 가까워지기만 하고, z가 무한대로 작아지더라도 0 에 가까워짐 ⇒Binary Classification
Ex) 페이스북 - 좋아요 타임라인 학습해서 수백개의 타임라인 중 일부만 공개. (사용자가 선호하는 것들만.)
카드회사 - 유저가 기존 결제내역과 다르 결제를 하면 수상히 여기고 유저에게 연락.

합법 1 불법 0 합리적1 비합리적 0. 이런식으로 0,1로 이루어짐.
여기서의 Linear Regression  가 문제. 0~1 값이 나와야 하는데 Wx + b 에서 그 이상이나 이하의 값이 나온다.
그래서 H(X) logistic hypothesis  나옴.

목표 - Cost function 최소화하기.
But 문제) 위의 H(×) 함수 (시그모이드를 합친 함수)로 바뀌고 나서 ,  linear 한 틈이 아님.
그래프가 경사가 많아서 linear함수에선 문제되지 않았던 첫 시작점이 문제가 될 수 있음. 최저점이 달라지기 때문. Local minimum,  global minimum  찾는게 문제인데 그래서 gre- 알고리즘은 H(x) 함수 사용 불가.


새로운 cost함수. 예측 값 같으면 cost 함같으면 비슷하면 코스트함수 작아지고 예측값 틀리면 코스트함수 커짐.

이번 주의 내용은 첫 시간과 지금까지 배운 내용들을 더 상세하게 보고 이해한 느낌이 들었다.


Sigmoid 정리 - logistic classifier 써서 Wx = y 형태의 함수에 입력값에 따라 세 개의 벡터를 나타냄. 세 개의 값이 합쳐 모두 1이 되게끔 만드는 것이 Softmax.
0.7 0.2 0.1 가 확률일 때 (a,b,c가 각각 나올 확률) 그 중에 하나만 고르려면 one-hot encoding 사용. 그 나온 값을 참고해 값 하나 (ex. A) 고를 수 있다. 출력 값이 0 과 1 사이에 존재하게 됨



‐---------------------------------------------------------------------


모딥)
- Logistric Regression 은 학습 데이터의 특성과 관계를 파악하여 미지의 인풋데이터에 대해 결과가 어떤 클래스로 분류 될수 있는지 예측하는 알고리즘

- training 데이터 특성과 분포를 나타내는 최적의 직선을 찾고, 그 직선을 기준으로 데이터를 위 또는 아래 등으로 분류해 주는 알고리즘
-> 정확도가 높으며 Deep Learning 의 기본 컴포넌트로 사용된다

- 시그모이드 함수: 입력값 z가 어떤값이 오더라도 출력값은 0-1사이에 오는 함수

- linear regression 출력값 Wx+b가 어떤 값을 갖더라도, 출력함수 sigmoid를 사용해서 0.5보다 크면 1, 작으면 0을 출력함으로써 classification 형성 가능

- 시그모이드 함수와 t 간의 차이에 대한 loss function은 다음과 같은 식으로 정의할 수 있다.
=> E(W,b) = - integral) i =1 to n { ti log yi + (1 - ti) log (1 - yi)}

손실함수가 최소가 되는 값 찾는 알고리즘은 다음과 같다
1. input , W, b 선택
2. 손실함수 계산
3. 최소값인지 아닌지 비교 -> 최소값이면 while을 나가야 함.
4. W, b를 다시 계산 (손실함수를 w,b로 편미분 한 만큼 변동 시킴)
5. 다시 2번으로

- log0 이 무한대가 되어서 , 아주 작은 값을 더해 준다는 이야기가 계속 나오는데, 아래 log의 정의로 부터 log0은 마이너스 무한대가 됨을 알 수 있다.

- b가 1보다 크다면 0 = b의 마이너스 무한대승, 양변에 logb를 취하면 log0= −∞

- Softmax regression은 Linear regression에 시그모이드 대신 소프트맥스 함수를 넣은 것

- S(yi) = e^(yi) / integral j e^(yj)

- 정답 벡터는 one-hot 벡터 사용 (정답 1, 나머지 0)


edwith)
- 정규화: 데이터를 일정한 규칙에 따라 변형하여 이용하기 쉽게 만드는 일 (출처: 네이버 지식백과)

- 과적합: 훈련데이터에서는 100% 정확도를 보이지만 실제 테스트 데이터에서는 낮은 예측률을 보이는 현상

- dropout: 과적합을 막기 위해 사용되는 방법 중 하나. 신경망 훈련을 시키는 동안 모델 내에서 임의로 노드 간 연결을 끊어서 훈련시키는 것
- 드롭아웃을 시키는 노드가 무엇이냥 따라 조금씩 다른 구조를 가지게 되므로 여러가지 구조를 학습시킬 수 있다. => 앙상블 효과