[기초] 1. 신경망 개요/단순 퍼셉트론/오차역전법

이 글은 필자가 "밑바닥부터 시작하는 딥러닝 1"을 보고 헷갈리는 부분이나 다시 보면 좋을만한 부분들을 위주로 정리한 글입니다.

🪀 헷갈릴만한 단어

1. 활성화 함수 vs. 손실함수
   • 활성화 함수: 퍼셉트론에 작용
   • 손실 함수: NN 전체에 작용
2. 오차역전법(수단) vs. 최적화기법(목표)
   • 오차역전법: 오차역전법으로 매개변수를 업데이트 하여 최적화 한다.
   • 최적화기법: 최적의 매개변수 구하기 

🪀 신경망 개요

• Goal: Function approximation = p_\theta (x) 높이기 =  손실함수의 값을 가능한 낮추는 매개변수 찾기 = 매개변수의 최적값을 찾기 
  • Frequentest View: Model의 파라미터들을 Fixed Value로 취급하여 데이터로부터 그 값을 구해 냅니다. <-- 현재 관점
  • Bayesian View: Model의 파라미터들을 각각 하나의 Random Variable로 취급하여 그 Distribution을 구해 냅니다.

🪀 단순 퍼셉트론의 작용

$$y=h(b+w_1 x_1 + w_2 x_2)$$

$$h(x) =\begin{cases}0 & x  \leq  0\\1 & x > 0\end{cases} $$

1. y=b+w_1 x_1 + w_2 x_2
2. 활성화 함수(Activation function) 적용 y=h(b+w_1 x_1 + w_2 x_2)
   • Sigmoid 함수: h(x) =   \frac{1}{1+e^{-x}} 
   • ReLU 함수
   • Softmax 함수(대부분 출력 노드의 마지막 출력값에 사용)
3. 활성화 함수 값에 따른 0, 1 설정
4. 결과에 따른 손실 함수(Loss function): 전체 퍼셉트론 결과에 따른 손실을 구하는 것을 말한다.
   • 손실 함수
     • 평균제곱오차(Mean Squared Error, MSE)
     • 교차엔트로피오차(Cross Entropy Error, CEE)
   • 신경망 학습은 손실 함수를 지표로, 손실 함수의 값이 작아지는 방향으로 가중치 매개변수를 갱신한다.

 

🪀 오차역전법Back-Propagation

: 가중치 매개변수의 기울기를 효율적으로 구하는 방법, 계산 그래프를 이용하여 풀이

🪀 최적화Optimization

1. 결과에 따른 손실 함수(Loss function): 전체 퍼셉트론 결과에 따른 손실을 구하는 것을 말한다.
2. 매개변수/가중치 갱신
   1. 오차역전법으로 가중치 매개변수의 기울기 계산
   2. 기울어진 방향으로 가중치의 값을 갱신