Traning

▸ notes

• Backpropagation과 Chain Rule 역전파가 어떻게 gradient를 계산하는지, local gradient와 chain rule을 중심으로 정리해봤고, 역전파 계산에 자주 나오는 연산 게이트들이 gradient를 어떻게 흘려보내는지까지 정리해봤다. local gradient와 chain rule 어떤 연산 노드 f... #deep-learning #backpropagation #chain-rule #gradient | 2025-09-17
• Dropout 이해하기 Dropout을 공부하면서 헷갈렸던 내용들을 정리해보았다. 일반화 성능을 높이는 핵심적인 요소인 마스킹과, 그리고 그 마스킹에 걸리지 않은 살아남은 값들을 키우는 스케일업. 이 구분을 중심으로 글을 작성했다. Dropout이란? Dropout 레이어에 들어온 텐서의 각 원소를 독립... #deep-learning #dropout #regularization #generalization | 2026-01-05
• ReLU의 존재 의미 ReLU가 기울기 문제를 해결한다고 뭉뚱그려 말하기 쉽지만, ReLU가 다루는 것은 vanishing이지 exploding이 아니다. 이 구분을 정리해봤다. ReLU가 해결하는 건 vanishing이다 역전파에서 gradient는 각 층의 activation 미분을 계속 곱하면서... #deep-learning #activation #vanishing-gradient | 2025-09-29