#autograd

• clone과 detach, 그리고 계산 그래프Pytorch에서 Tensor를 다룰 때 경고문을 자주 보았을 것이다. UserWarning: To copy construct from a tensor, it is recommended to use sourceTensor.detach().clone() ... rather than...#pytorch #autograd #memory|2025-09-06
• zero_grad 가 필요한 이유학습 루프에서 자주 빠뜨리는 게 optimizer.zero_grad() 다. 그런데 이게 없으면 학습이 망가진다. 왜 매 스텝마다 기울기를 초기화해야 하는지 짧게 정리해봤다. loss.backward()는 기울기를 누적한다 핵심은 loss.backward() 의 동작이다. loss...#pytorch #training #autograd|2025-09-03