Decoding
▸ notes
- 1. argmax 분해와 Greedy 자연어 생성에서 decoding이 정확히 뭘 하는 과정인지, 그리고 왜 문장 전체를 한 번에 구하지 않고 토큰을 하나씩 뽑아 나가는지 정리해봤다. decoding이 풀려는 문제 입력 문장 x가 주어졌을 때, 출력 문장 y가 나올 확률을 최대화하는 y를 찾는 것이 decoding의...
- 2. Beam Search와 그 한계 필기에 내가 적어둔 메모 중에 2³개...? (X) 라는 게 있었다. beam search가 매 스텝 후보를 k개씩 펼치니까 스텝이 지날수록 k 2 , k 3 , … 으로 지수적으로 폭발하는 거 아닌가 싶었던 흔적이다. 결론부터 말하면 그렇지 않다. 그게 왜 그런지 따라가보면서 b...
- 3. Sampling 기반 디코딩 - Temperature, Top-k, Top-p beam search까지 정리하고 나니, 확률을 최대화하는 방식만으로는 단조로운 문장밖에 못 만든다는 게 분명해졌다. 그래서 필기에 이런 질문을 적어뒀었다. Question 확률이 낮은 단어를 더 혹은 덜 뽑히게 할 수 있을까? 확률분포에 따라 단어를 random sampling하...