dong_dong_2's

1. 활성화 함수 - 오늘은 Softmax나 ReLU 등 익숙히 들어본 활성화 함수(activation function)을 배웠다. - 활성화(activated) or 비활성화(deactivated)라는 것은 어떤 조건을 만족 or 불만족 했다는 것과 긴밀한 연관이 있다. - 지금까지 써왔던 신경망 속의 퍼셉트론(perceptron) 혹은 노드(node)도 특정 조건이 만족하면 활성화 되도록 디자인되어 있다. - 느드에 입력으로 들어오는 값이 어떤 임계치를 넘어가면 활성화(activated)되고, 넘어가지 않으면 비활성화(deactivated)되게 코딩되어 있다. - 예를 들어 ReLU는 입력값이 음수, 즉 0 미만이라는 조건을 만족한다면 0을 출력하고, 입력값이 0 이상이면 입력값 그대로를 출력하도록 ..

오늘은 6강을 거의 봤다. 시간이 부족하여 전부 보지는 못했다. 1.활성화 함수(Activation Function)의 종류를 보았다. - Sigmoid : 이진 분류에 쓰인다. 0 ~ 1의 값이 나온다. vanishing gradient가 생길 수 있다. zero-centered 하지 못하다. exp함수를 이용하므로 계산이 복잡해진다. - tanh(x) : sigmoid의 단점을 일부 보완한다. zero-centered 하다. 그렇지만 vanishing gradient가 생길 수 있다. - ReLU : max(0, x), vanishing gradient문제를 해결했다. 효율적으로 계산한다. 훨씬 빠르게 수렴한다. 생물학적으로 더 뉴런처럼 행동한다. 그러나 zero-centered하지 못하다. 죽는다 ..

1. 이전에 일부만 배운 backpropagation에 대해서 배웠다. local gradient들을 미분하여 구하는 법, 하다보니 add, mul, max에 대해서 local gradient의 특징이 나타난다. 2. sigmoid gate를 미분하여 gradient를 구해봤다. 3. CNN 모델에 대해서 backpropagation을 해봤다. 자코비안 행렬(Jacobian matrix)이란 개념이 나왔다. 4. Neural Networks을 배웠다. 계층에 대해서 배웠고, 2-layer Neural Network과 3-layer Neural Network의 구조를 봤다. 5. 인공신경망 함수와 실제 뉴런의 구조를 비교하면서 봤다. 6. 활성함수의 종류를 간략히 살펴보았다. 출처 : cs231n.stan..