#weight-initialization

• 가중치 초기화와 Kaiming(He) 초기화간단한 Linear Layer를 pytorch로 직접 구현해보면서, 가중치를 어떻게 초기화하느냐에 따라 학습 결과가 달라지는 것을 확인해보았다. 해당 내용에 대한 짧은 글이다. 표준정규분포로 초기화 torch.randn 으로 가중치를 초기화하면 표준정규분포(평균 0, 표준편차 1)...#pytorch #weight-initialization|2025-09-05