SGD

Robotics & Perception/Reinforcement Learning
[David Silver] 6. Value Function Approximation: Experiment Replay, Deep Q-Network (DQN)
이 글은 필자가 David Silver의 Reinforcement Learning 강좌를 듣고 정리한 글입니다. This lecture suggests the solution for large MDPs using function approximation.We have to scale up the model-free methods for prediction and control. So for lecture 6 and 7, we will learn how can we scale up the model-free methods. How have we dealt with small (not large) MDPs so far? We have represented the value function by a looku..
→2022.04.10
AI, Deep Learning Basics/Basic
[기초] 2. Optimization최적화기법/최적화: 매개변수 초기화 및 갱신
이 글은 필자가 "밑바닥부터 시작하는 딥러닝 1"을 보고 헷갈리는 부분이나 다시 보면 좋을만한 부분들을 위주로 정리한 글입니다. 🪀 해결이 되지 않은 부분 Gradient Descent vs. Stochastic Gradient Descent GD: 전체 데이터 update SGD: Batch 기준으로 데이터 update Loss function의 derivation이 잘 와닿지 않음/그래프 양상 이해안감. 🪀 최적화Optimization 틀 : 최적의 매개변수 구하기 = 매개변수를 갱신해가면서 최적의 매개변수를 찾는다. 결과에 따른 손실 함수(Loss function): 전체 퍼셉트론 결과에 따른 손실을 구하는 것을 말한다. 매개변수/가중치 갱신 매개변수 초깃값 설정 오차역전법으로 가중치 매개변수의 기..
→2022.01.08

• 이전
• 1
• 다음