1-1. 신경망 개념과 역사
ㅇ 신경망이란? 인공신경망 = 신경망, 인간의 뇌를 모방해서 학습하여 결과 예측 및 분류
ㅇ 1차황금기 : 단층퍼셉트론
ㅇ 1차암흑기 : XOR문제 : 퍼셉트론이 XOR문제를 풀수 없음을 증명함
ㅇ 2차황금기 : 다층퍼셉트론이 XOR문제를 해결함
ㅇ 2차암흑기 : 기울기소멸문제를 발견
ㅇ 3차황금기 : 딥러닝 등장, CPU와 GPGPU성능이 향상. 알파고 등장
1- 2. 신경망의 계층구조와 동작방식
ㅇ 계층구조: 입력층 input layer, 은닉층 hidden layer, 출력층 ouput layer
ㅇ 인간의 뇌를 본따 만듦
ㅇ 입력값 * 가중치 = 결과값
ㅇ 만약 예상한 출력값과 다르면 back-propagation 알고리즘을 통해 다시 앞으로 이동시켜 입력
ㅇ결합함수 : 입력값과 가중치의 곱의 합 (->활성화함수에 전달되게되는 값)
ㅇ활성화함수 : 어떠한 신호를 입력받아 임계값을 기준으로 결과값을 출력
ㅇ오류역전파(back-propagation) : 출력값이 원하는 값과 다를경우, 가중치를 갱신하여 오차를 최소화 시키도록 반복학습하는 알고리즘
1- 3. 단층퍼셉트론과 다층퍼셉트론의 이해
ㅇ 퍼셉트론 개념 : 인공신경망 모형 중 하나, 예측/분류 알고리즘
- 인간의 두뇌를 모방하여 각 노드들이 서로 연결되고, 각 노드의 학습을 통해 가중치를 조정해나가는 알고리즘
ㅇ 단층퍼셉트론 : 입력층, 출력층만 존재, and or 연산 가능, xor 문제 발생
- 사과, 공 분류 알고리즘
ㅇ 다층퍼셉트론[MLP] : 입력층-출력층 사이에 하나이상의 은닉층 존재
- 순전파(feeforward), 역전파
- 비선형분류도 가능
2-1. 활성화 함수 개념과 유형
ㅇ 활성화함수 : 결합함수로부터 전달받은 출력값 임계값보다 크면1, otherwise -1 또는 0
- 활성화함수를 사용하는 이유는? 노이즈에 강한 모델, data의 비선형화
- 활성화 함수는 왜 같은것을 사용하지 않는가? 인간의 뇌는 black box.. 시행착오로 인한 최적의 활성화함수를 선택
1. signoid 함수. 시그노이드함수
- logistic 함수로도 불림. S자형 비선형함수. 기울기 소멸문제있음
2. step 함수. 계단함수
- 가장 기본이 되는 활성화함수
3. tanh 함수. 탄젠트h함수
- -1~1 사이값을 출력 . 시그노이드 함수 보완
4. Relu함수. 렐루함수
- 시그노이드보다 6배 빠른 학습시간. 다이닝(dying)렐루 현상 있음
5. leaky relu함수
- dying reLU해결
ㅇ가장많이 쓰는애는 Relu(우선사용) -> leaky relu, relu계열의 다른 함수
ㅇsignoid, tanh는 사용하지 않도록 함
2-2. 오류역전파 동작방식
2-3. 경사하강법와 Cost function 이해
ㅇ cost function : 실젝밧과 예측값이 얼마나 차이나는지 정의하기위한 함수
ㅇ 경사하강법 : cost function이 최소화 되도록 하는 알고리즘.
- 현재 위치에서 미분하여 기울기에 따라 이동한다.
댓글