1. 분포가설과 분산표현 - 희소 표현(Sparse Representation) : 벡터의 특정 차원에 단어 혹은 의미를 직접 매핑하는 방식 - 분포 가설(distribution hypothesis) : 모든 단어를 고정차원의 벡터로 표현한다. 어떤 차원이 특정한 의미를 가진다고 가정하지 않는다. 단지 유사한 맥락에서 나타나는 단어는 그 의미도 비슷하다라는 가정을 한다. - 분산 표현(distributed Representation) : 유사한 맥락에 나타난 단어들끼리는 두 단어 벡터 사이의 거리를 가깝게 하고, 그렇지 않은 단어들끼리는 멀어지도록 조금씩 조정하여 얻어지는 단어 벡터 - 다음에 배울 Embedding 레이어는 단어의 분산 표현을 구현하기 위한 레이어이다. 간단하게 컴퓨터용 단어 사전인 것..