본문으로 건너뛰기
재미있는 삽질 기록
Home
Categories
Home
Categories
#training
zero_grad 가 필요한 이유
학습 루프에서 자주 빠뜨리는 게 optimizer.zero_grad() 다. 그런데 이게 없으면 학습이 망가진다. 왜 매 스텝마다 기울기를 초기화해야 하는지 짧게 정리해봤다. loss.backward()는 기울기를 누적한다 핵심은 loss.backward() 의 동작이다. loss...
#pytorch #training #autograd
|
2025-09-03