1. 들어가며 - 2018년 10월 SQuAD(Stanford Question Answering Dataset) 리더보드에 Human performance를 능가하는 점수로 1위 자리를 갱신한 모델이 나타나서 엄청난 주목을 끌었다. - 이른바, 사람보다 퀴즈를 잘 푸는 인공지능이 나타났다는 소식은 딥러닝 자연어처리 분야에 충격적인 뉴스가 아닐 수 없었다. - 구글에서 발표한 논문에 소개된 이 모델의 이름은 BERT(Bidirectional Encoder Representations from Transformers)였다. - 이 모델은 340MB나 되는 엄청난 사이즈의 파라미터를 가진 모델을 수십 GB나 되는 코퍼스를 학습 시켜 만든 pretrained model이다. - 이 모델은 SQuAD뿐 아니라 당..
