Sequence Model

▸ notes

• Self-Attention 이해하기 attention이 무엇을 계산하는지, Q와 K와 V가 각각 어떤 역할인지, 그리고 한 단어를 어떻게 contextualize하는지 간단히 정리해봤다. attention은 value의 가중 평균 attention 함수는 세 가지를 입력으로 받는다. Attention ( Q , K... #deep-learning #attention #transformer | 2025-09-18
• Teacher Forcing과 Auto-regressive 생성 seq2seq decoder가 출력을 하나씩 만들어내는 방식과, 학습 때와 추론 때 입력을 다르게 주는 이유를 정리한다. Auto-regressive 생성 decoder는 한 시점에 한 토큰씩 출력을 만든다. 각 단계의 hidden state는 입력 시퀀스 전체에 대한 정보(con... #deep-learning #seq2seq #teacher-forcing | 2025-09-18
• 문자열 단위 Language Model RNN으로 문자 하나씩을 예측하는 문자열 단위 Language Model을 hello 예제로 따라가며, 입력을 One-Hot으로 주는 이유와 학습/추론의 차이를 정리한다. hello 예제 Vocabulary를 [h, e, l, o] 로 두고, 학습 문자열 hello 를 학습한다고... #deep-learning #rnn #language-model | 2025-10-02
• ResNet에서 LSTM까지 LSTM이 RNN의 기울기 문제를 어떻게 우회하는지를, ResNet의 skip connection에서 Highway network를 거쳐 LSTM에 이르는 흐름으로 따라간다. 마지막에는 nn.LSTM 으로 양방향 RNN을 쓰는 법까지 정리한다. ResNet의 skip connect... #deep-learning #lstm #resnet #rnn | 2025-10-02
• BPTT와 TBPTT RNN을 시간 축으로 펼쳐 역전파하는 BPTT와, 긴 시퀀스를 잘라 부분적으로 역전파하는 TBPTT를 정리한다. BPTT(Backpropagation Through Time) RNN은 시퀀스를 따라 forward를 진행하면서 각 타임스텝마다 출력과 Loss를 만든다. Loss는 f... #deep-learning #rnn #bptt | 2025-10-02
• RNN과 기울기 소실, 폭발 RNN이 시계열을 어떻게 처리하고, 왜 기울기 소실과 폭발에 시달리는지 정리한다. RNN과 recurrence RNN은 시계열 데이터를 처리하기 위한 모델이다. 시점 t의 hidden state는 이전 시점의 hidden state와 현재 입력으로 정해진다. h t ​ = f W... #deep-learning #rnn #vanishing-gradient | 2025-09-18