1. 이전에 일부만 배운 backpropagation에 대해서 배웠다. local gradient들을 미분하여 구하는 법, 하다보니 add, mul, max에 대해서 local gradient의 특징이 나타난다. 2. sigmoid gate를 미분하여 gradient를 구해봤다. 3. CNN 모델에 대해서 backpropagation을 해봤다. 자코비안 행렬(Jacobian matrix)이란 개념이 나왔다. 4. Neural Networks을 배웠다. 계층에 대해서 배웠고, 2-layer Neural Network과 3-layer Neural Network의 구조를 봤다. 5. 인공신경망 함수와 실제 뉴런의 구조를 비교하면서 봤다. 6. 활성함수의 종류를 간략히 살펴보았다. 출처 : cs231n.stan..
