#regularization

• Dropout 이해하기Dropout을 공부하면서 헷갈렸던 내용들을 정리해보았다. 일반화 성능을 높이는 핵심적인 요소인 마스킹과, 그리고 그 마스킹에 걸리지 않은 살아남은 값들을 키우는 스케일업. 이 구분을 중심으로 글을 작성했다. Dropout이란? Dropout 레이어에 들어온 텐서의 각 원소를 독립...#deep-learning #dropout #regularization #generalization|2026-01-05
• NEFTune이번 대회 학습 데이터는 약 2,000개로 적은데 모델은 27B였다. 거대 모델이 소규모 데이터를 학습하면 과적합 위험이 크다. 이걸 막으려고 NEFTune을 도입했는데, 임베딩에 노이즈를 더하는 단순한 기법이 왜 과적합을 막는지 정리해봤다. 문제: SFT 단계의 소규모 과적합 L...#llm #finetuning #neftune #regularization|2025-12-30