AlexNet 2

FUNDAMENTAL 30. 딥네트워크, 서로 뭐가 다른 거죠?

1. 딥네트워크, 서로 뭐가 다른 거죠? - 요즘 핫한 딥러닝, 이름에서 알 수 있듯 깊게 구성된 신경망이다. - 이런 신경망을 깊게 쌓는데 많은 연구와 기법이 필요한데, 연구자들이 더 좋은 성능을 내는 딥네트워크를 만들기 위해 다양한 방법과 네트워크를 탄생시켰다. - 이 중 몇가지를 오늘 배웠다. 2. ImageNet Challenge - 이미지넷(ImageNet)은 비전(vision) 관련 딥러닝을 하다보면 보게될 이름이다. - 이미지넷은 2010년부터 이미지관련 데이터셋을 제공하고 이로인해 여러 모델을 만드는데 도움이 되었다. 3. 딥네트워크의 시작 - SuperVision이라는 팀이 전년도 대비 10%의 오류율을 낮추면서 1등을 했는데, 비법은 네트워크를 깊게 쌓았기 때문이다. - 이 때 사용한 ..

공부/AIFFEL 2021.03.15

풀잎스쿨 - DeepML(CS231N) Lec. 07 ~ Lec. 09

오늘은 Lec.07의 나머지 부분과 Lec.09의 일부분을 공부했다. (Lec.08은 건너뛰었다.) Lec.07 1. learning rate에 대해 봤다. - learning rate decay : Adam보다는 SGD + Momentum에서 많이 쓴다. - First-Order Optimization : 기울기를 사용하여 선형으로 근사시켰다. 근사치를 minimize 하는 단계이다. - Second-order Optimization : 기울기와 Hessian 행렬을 사용하여 2차적으로 근사시켰다. 근사치를 minima하는 단계 - Second-order에서 BGFS와 L-BFGS가 있는데 딥러닝에서는 잘 사용되지 않는다. - 만약 full batch가 가능하면 잘 작동할 수 있으나, mini batc..

공부/AIFFEL 2021.02.15