4주차 - AF

Online learning - 100만개의 데이터를 10만개씩 나눠서 학습시키는 방법. 10만개의 데이터가 새로 추가될 때 기존의 10만개씩 학습한 데이터를 다시 학습하지 않고 추가로 학습을 시킨다.


Activation functions : 뉴런의 단순함을 보고 사람들이 기계적으로 만들 수 있겠다 생각해 고안해낸 것.
어떤 신호 x 가 들어오면 w으로 곱이퇴고 bios으로 합함. 일정 값이 넘어가면 output 해주는 형식.


AND OR 로직) 과거엔 기계가 예측할 수 있게 하는 것이 중요한 문제였음.
XOR ) 값이 다르면 같으면 0 .

Comvonlutional Neural Networks *LeCun

고양이를 보게한 후 시신경의 움직임을 관찰하고, 그림의 종류에 따라 뉴런의 움직임이 다른 것을 발견함.
-> 인간이 그림을볼 때 그림의 전체가 아니라 일부만 보는 시신경이 있고 나중에 합쳐지는것이 아닌가?
부분을 잘라 그 다음 layer 로 보내 나중에 합치는 네트워크를 개발. 알파고도 이런 방식. 90% 이상의 성능을 보임. 이를 이용해 90년대 자율주행 자동차도 일부 성공함.
But problem) 복잡한 문제를 풀려면 10여개 이상의 layer 를 학습시켜야 하는데 앞의 error를 뒤쪽으로 갈 수록 전달하지 못해 학습을 못시켜서 성능이 떨어지게 됨.  ==> 침체기

Deep API Learning )
file copy해 어떤 디렉토리에 저장하고 싶다고 하면  시스템이 자동으로 어떤 api를 써야하고 어떤 순서로 써야하는지 알려주는 기능. 정확도 65%


유튜브 자막이나 페이스북 관심 피드, 구글 검색 엔진, 넷플릭스, 아마존 등이 인공지능을 도입해 성공한 사례.

지금 시작해야 하는 이유) 누구나 지금 시작해도 전문가가 될 수 있고 파이썬과 같은 언어를 활용해 인공지능다룰 수 있음.

----------‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐

모딥)
- 모델의 공정하고 정확한 평가를 위해서는 학습에 사용되지 않은 데이터를 이용하여 평가해야 한다
- 머신러닝 알고리즘의 성능을 제대로 파악하기 위해서는 훈련 데이터와 평가에 사용할 데이터가 각각 달라야 한다.
- 이렇게 하는 가장 간단한 방법은 평가를 위해 또 다른 데이터를 준비하거나, 이미 준비된 데이터 중에서 일부를 떼어 내 활용하는 것이다. 일반적으로 후자의 방법이 사용되며, 이때 평가에 사용되는 데이터를 테스트 세트, 훈련에 사용되는 데이터를 훈련 세트라고 부른다.
- 샘플 추출 전 데이터를 섞거나 골고루 샘플을 추출하는 과정이 필요하다 >> Numpy이용
- 훈련 세트로 fit() 메서드를 호출해 모델을 훈련하고, 테스트 세트로 score() 메서드를 호출해 평가
- 넘파이: 파이썬의 대표적인 배열 라이브러리 >> 고차원의 배열을 손쉽게 만들고 조작할 수 있는 기능 제공
- 준비된 배열에서 무작위로 샘플을 선택하여 훈련 세트와 테스트 세트로 이동 >> 인덱스 섞은 후 input_arr과 target_arr에서 샘플을 선택 (np.arange()함수 사용)
- learning rate를 잘못 정할 경우 무한정으로 반복을 거치며 제대로 된 결과가 나오지 않을 가능성이 있으므르 주의할 것
- 학습율의 올바른 설정을 돕는 두가지 방법론
1. Zero centered Data: 기존 오리지날 데이터의 중심이 0으로 가도록 바꾼다.
2. Normalized Data: 1을 만족시키면서 어떤 특정 범위 내에 모든 데이터들이 위치하도록 전처리(PreProcessing)하는 과정이다. 만약 머신러닝이 제대로 되지 않는다면 전처리 과정을 거쳐 유의미한 데이터셋을 넣었는지 확인하는 것이 좋다.
- Minsky 교수의 일침 "딥러닝은 XOR 문제를 해셜하지 못한다"
=> 딥러닝의 암흑기 도래
- 이후 역전파 방식의 발견으로 재조명 받기 시작
- 하지만 Backpropagation 알고리즘은 몇 개의 layer에서는 잘 작동했으나 10여개의 layer에서는 error를 앞으로 보내는 것이 번거로워 성능이 떨어지는 문제점이 봉착하게 되었다.