dong_dong_2's

오늘은 노드에서는 VGG-16, VGG-19를 구현해보고 서로를 비교해보고, 프로젝트에서는 ResNet과 Plain model를 구현해보고 서로를 비교해봤다.

EfficientNet1. 딥러닝 논문의 구조 - 오늘의 이야기는 가장 유명한 딥러닝 기반 컴퓨터 비전 모델 중 하나로 꼽히는 ResNet의 논문으로 시작한다. - ResNet 논문은 Residual Block이라는 아주 간단하면서도 획기적인 개념을 도입하여 딥러닝 모델의 레이어가 깊어져도 안정적으로 학습되면서 모델 성능 개선까지 가능함을 입증했다. - 딥러닝 분야에서 사용되는 많은 기법들은 논문을 통해서 공개되는 경우가 많다. - 논문에서 ResNet의 잔차 학습을 어떤 과정으로 소개하고 효과를 증명했는지는 딥러닝도 컴퓨터 과학의 한 분야이기 때문에, 실험을 통해 보여준다. - 그래서 논문이 제안하는 새로운 방식과 효과를 확인하기 위해서는 어느 정도 논문의 구조를 파악하고 이해할 수 있어야 한다. - ..

1. 딥네트워크, 서로 뭐가 다른 거죠? - 요즘 핫한 딥러닝, 이름에서 알 수 있듯 깊게 구성된 신경망이다. - 이런 신경망을 깊게 쌓는데 많은 연구와 기법이 필요한데, 연구자들이 더 좋은 성능을 내는 딥네트워크를 만들기 위해 다양한 방법과 네트워크를 탄생시켰다. - 이 중 몇가지를 오늘 배웠다. 2. ImageNet Challenge - 이미지넷(ImageNet)은 비전(vision) 관련 딥러닝을 하다보면 보게될 이름이다. - 이미지넷은 2010년부터 이미지관련 데이터셋을 제공하고 이로인해 여러 모델을 만드는데 도움이 되었다. 3. 딥네트워크의 시작 - SuperVision이라는 팀이 전년도 대비 10%의 오류율을 낮추면서 1등을 했는데, 비법은 네트워크를 깊게 쌓았기 때문이다. - 이 때 사용한 ..

오늘은 저번에 못 본 9강을 전부 봤다. 저번에는 AlexNet을 배웠고, 오늘은 VGG, GoogLeNet, ResNet을 배웠다. 1. VGG - 매우 심플하고 딥한 모델이다. - 16 혹은 19층을 쌓았다. - 3x3 CONV stride 1, pad 1 and 2x2 MAX POOL stride 2를 사용했다. - 3x3을 쓰면서 7x7 필터를 쓰는 효과를 얻으면서 더 적은 파라미터를 만들어 계산비용을 줄였다. 2. GoogLeNet - 22개의 층을 가진다. - 인셉션 모듈을 가지고 있다. - 단지 5만개 파라미터만 가진다. (AlexNet에 비해 12배 적다) - 인셉션 모듈은 Multiple receptive field sizes for convolution (1x1, 3x3, 5x5), P..