#multi-head

• Multi-Head Attention 직접 구현하기멀티헤드 어텐션을 직접 구현하면서 헷갈렸던 지점들을 정리한다. 헤드의 차원은 embedding_dim을 헤드 수로 나눈 것 먼저 헤드를 빼고 보면, 입력은 (B, L, D) = (batch_size, sequence_length, embedding_dim)이고, W q ​ , W...#pytorch #transformer #attention #multi-head|2025-09-21