#embedding
- Input Embedding과 Positional EncodingTransformer 입력을 정리하다가, 수식으로는 분명 행렬곱인데 PyTorch는 행렬곱을 안 한다는 부분에서 한 번 멈췄었다. 그런데도 학습이 된다는 게 처음엔 어 이게 왜 되지 싶었다. 그 부분과 positional encoding의 scaling factor를 같이 정리해봤...
- nn.Embedding에 이해하기토큰 번호로 바뀐 문장이 어떻게 벡터가 되는지, nn.Embedding 의 동작을 간단하게 정리해봤다. (vocab_size, model_dim) 가중치 행렬 nn.Embedding 은 결국 (vocab_size, model_dimension) 크기의 가중치 행렬 하나다. 이 행렬...