dong_dong_2's

EfficientNet1. 딥러닝 논문의 구조 - 오늘의 이야기는 가장 유명한 딥러닝 기반 컴퓨터 비전 모델 중 하나로 꼽히는 ResNet의 논문으로 시작한다. - ResNet 논문은 Residual Block이라는 아주 간단하면서도 획기적인 개념을 도입하여 딥러닝 모델의 레이어가 깊어져도 안정적으로 학습되면서 모델 성능 개선까지 가능함을 입증했다. - 딥러닝 분야에서 사용되는 많은 기법들은 논문을 통해서 공개되는 경우가 많다. - 논문에서 ResNet의 잔차 학습을 어떤 과정으로 소개하고 효과를 증명했는지는 딥러닝도 컴퓨터 과학의 한 분야이기 때문에, 실험을 통해 보여준다. - 그래서 논문이 제안하는 새로운 방식과 효과를 확인하기 위해서는 어느 정도 논문의 구조를 파악하고 이해할 수 있어야 한다. - ..

오늘도 오전, 오후 개인연구주제 (2차 해커톤)를 했다. 생각난 것이 2가지 정도 있다. 하나는 object detection에 대한 것이고, 나머지는 담임쌤의 얘기로 나온 신약개발AI 이다. 마음은 신약개발AI에 끌리지만 너무 어려워보여서 고민을 하다가 하루가 지났다.

오늘은 오전, 오후 개인연구주제 (2차 해커톤)를 했다. 아직 무엇을 해야할지 모르겠다. 오늘은 2시 30분쯤에 퇴실했다. 이유는 교육생 중 한분이 확진자와 밀접접촉자가 되어서 검사를 받으러 조퇴를 하셨는데, 안전을 위해 모든 교육생들은 퇴실을 하고 집에 가서 검사 결과를 기다렸다. 다행히 해당 교육생분은 음성 결과가 나왔다. 항상 마스크를 잘 쓰고 위생관리를 철저히 한 결과라고 생각한다. 내일부터 4월 9일까지 온라인으로 전환한다고 한다.

* 3월 24일로부로 1학기가 끝났다. 그래서 25일에는 방학 겸 휴식으로 AIFFEL을 쉬었다. * 3월 29일부터 4월 2일까지는 2차 해커톤을 진행한다. 이 기간에는 본인이 하고 싶은 프로젝트 주제를 선정해서 계획서를 작성하는 시간이다. * 2차 해커톤 기간에서 월요일 오전에는 머신러닝 필수수학을 하고, 목요일 오후에는 코딩마스터를 진행한다. 1. 오전 머신러닝 필수수학 - 벡터, 내적, 정사영, 선형연립방정식, 가우스 & 조던 소거법 2. 오후 개인연구주제 (해커톤 2차)

1. 오전 세미나 - 모두의 연구소 김승일 소장님 [지식정보강연] 1) 시간 : 10시 ~ 12시 2) 주제 : CNN 2. 오후 세미나 - 모두의 연구소 김승일 소장님 [지식정보강연] 1) 시간 : 13시 ~ 15시 2) 주제 : RNN 3. 오후 채용설명회 - 펄스나인 채용설명회 [기업세미나] 1) 시간 : 16시 ~ 17시 30분 2) 주제 : AI아이돌 아바타를 만들어내는 것으로 유명한 펄스나인의 기업소개 및 채용설명회

오늘은 오전에는 코딩마스터를 하고, 오후에는 외부강연을 들었다. 1. 오전 코딩마스터 - 숙제(문제 풀기) 1) programmers.co.kr/learn/courses/30/lessons/60060 코딩테스트 연습 - 가사 검색 programmers.co.kr 2) www.acmicpc.net/problem/6550 6550번: 부분 문자열 입력은 여러 개의 테스트 케이스로 이루어져 있다. 각 테스트 케이스는 한 줄로 이루어져 있으며, 문자열 s 와 t가 빈칸을 사이에 두고 들어온다. s와 t의 길이는 10만을 넘지 않는다. www.acmicpc.net - 문제가 고난이도여서 풀어온 사람이 몇 없었다. 그래서 다 같이 코드를 보고 공유 및 리뷰하는 시간을 가졌다. - 공부 : Do it! 자료구조와 함..

1. 조건 없는 생성모델(Unconditional Generative Model), GAN - GAN을 이용하여 MNIST, CIFAR-10 등의 데이터셋을 학습하고 생성해 본 경험이 있는가? - 성공적으로 학습되었다면, 학습에 사용한 실제 손글씨 이미지와 매우 유사한 손글씨 이미지를 생성했을 것이다. - 그런데 한 가지 생각을 해보자. 1) 우리가 7이란 이미지를 만들고자 MNIST 데이터셋을 이용해 GAN을 열심히 학습을 시켰다. 2) 학습이 완료된 모델을 이용해 7 이라 쓰여있는 이미지를 얻기 위해 어떤 방법을 이용해야 할까? 3) 여기서 할 수 있는 방법은 다양한 노이즈를 입력으로 넣어보면서 7이 나올 때 까지 시도해보는 것이다. 4) 이렇듯 잘 학습된 GAN을 이용해 실제 이미지를 생성할 때 조..

1. Regulrization과 Normalization - Regularization? Normalization? 1) 위 두 개념은 서로 헷갈리는 경우가 많다. 한국어로 변역할 때 두 개념이 다 "정규화"로 번역될 때가 많아서 더욱 혼란스럽다. 2) Regularization (1) 오버피팅을 해결하기 위한 방법 중 하나이다. (2) L1 / L2 Regularization, Dropout, Batch normalization등이 있다. (3) 이 방법들은 모두 오버피팅을 해결하고자 하는 방법이다. 3) Normalization (1) 데이터의 형태를 좀더 의미있게, 혹은 트레이닝에 적합하게 전처리하는 과정이다. (2) 데이터를 z-score로 바꾸거나, minmax scaler를 사용하여 0과 1사..

1. 들어가며 : 머신러닝 목표 - 머신러닝 모델의 역할은 무엇인가? - 우리는 데이터의 집합이 있고, 데이터가 따르는 확률 분포를 알고 싶어한다. - 데이터의 분포를 안다면 새로운 입력 값이 들어와도 적절한 출력 값을 추정할 수 있다. - 하지만 데이터셋의 크기는 유한하기 때문에 데이터가 따르는 정확한 확률 분포를 구하는 것은 불가능하다. - 그래서 파라미터(parameter, 매개 변수)에 의해 결정되는 머신러닝 모델을 만든 다음, 파라미터의 값을 조절함으로써 데이터의 분포를 간접적으로 표현한다. - 모델이 표현하는 확률 분포를 데이터의 실제 분포에 가깝게 만드는 최적의 파라미터 값을 찾는 것이 머신러닝의 목표라 할 수 있다. 2. 확률 변수로서의 모델 파라미터 - 간단한 예시로 일차함수 모델을 생각..

1. 들어가며 - 2018년 10월 SQuAD(Stanford Question Answering Dataset) 리더보드에 Human performance를 능가하는 점수로 1위 자리를 갱신한 모델이 나타나서 엄청난 주목을 끌었다. - 이른바, 사람보다 퀴즈를 잘 푸는 인공지능이 나타났다는 소식은 딥러닝 자연어처리 분야에 충격적인 뉴스가 아닐 수 없었다. - 구글에서 발표한 논문에 소개된 이 모델의 이름은 BERT(Bidirectional Encoder Representations from Transformers)였다. - 이 모델은 340MB나 되는 엄청난 사이즈의 파라미터를 가진 모델을 수십 GB나 되는 코퍼스를 학습 시켜 만든 pretrained model이다. - 이 모델은 SQuAD뿐 아니라 당..