#vanishing-gradient
- ReLU의 존재 의미ReLU가 기울기 문제를 해결한다고 뭉뚱그려 말하기 쉽지만, ReLU가 다루는 것은 vanishing이지 exploding이 아니다. 이 구분을 정리해봤다. ReLU가 해결하는 건 vanishing이다 역전파에서 gradient는 각 층의 activation 미분을 계속 곱하면서...
- RNN과 기울기 소실, 폭발RNN이 시계열을 어떻게 처리하고, 왜 기울기 소실과 폭발에 시달리는지 정리한다. RNN과 recurrence RNN은 시계열 데이터를 처리하기 위한 모델이다. 시점 t의 hidden state는 이전 시점의 hidden state와 현재 입력으로 정해진다. h t = f W...