#attention

• Static, Dynamic Embedding과 VectorDB, RAGWord2Vec 같은 Static Embedding의 한계와 문맥에 따라 변하는 Dynamic Embedding, 학습되지 않은 정보를 다루기 위한 VectorDB와 RAG에 대한 내용을 짧게 정리해보았다. Static Embedding의 한계 Word Embedding과 Word...#nlp #word-embedding #attention #rag|2025-09-30
• Multi-Head Attention 직접 구현하기멀티헤드 어텐션을 직접 구현하면서 헷갈렸던 지점들을 정리한다. 헤드의 차원은 embedding_dim을 헤드 수로 나눈 것 먼저 헤드를 빼고 보면, 입력은 (B, L, D) = (batch_size, sequence_length, embedding_dim)이고, W q ​ , W...#pytorch #transformer #attention #multi-head|2025-09-21
• Self-Attention 이해하기attention이 무엇을 계산하는지, Q와 K와 V가 각각 어떤 역할인지, 그리고 한 단어를 어떻게 contextualize하는지 간단히 정리해봤다. attention은 value의 가중 평균 attention 함수는 세 가지를 입력으로 받는다. Attention ( Q , K...#deep-learning #attention #transformer|2025-09-18