#pretraining

• Casual LM을 사용하는 이유최근 LLM이 대부분 Decoder-Only 구조라는 게 처음엔 의아했다. 그런데 학습 효율 관점에서 보면 납득이 됐다. 문장 하나가 주어지면 매 토큰 위치마다 다음 토큰이라는 학습 신호가 생기므로, 사실상 문장 하나로 거의 모든 토큰에서 학습이 일어난다. 이 점을 정리하면서 두...#llm #nlp #pretraining|2025-11-04
• Pretrained LM과 LLM둘 다 대량의 코퍼스로 사전학습한 언어모델인데, 왜 Pretrained LM과 LLM을 굳이 나눠 부르는지가 처음엔 잘 와닿지 않았다. 핵심은 모델 크기보다 하나의 모델로 몇 개의 태스크를 푸느냐에 있었다. Pretrained LM BERT, GPT-1/2 같은 모델이 여기에 속한...#llm #nlp #pretraining|2025-11-04
• Pretrain Corpus 정제와 MemorizationLLM은 온라인에서 긁어모을 수 있는 최대한 많은 텍스트로 사전학습한다. 그런데 그 원시 데이터를 그대로 쓰지 않고 굳이 정제 작업을 거치는 이유가 무엇인지 정리해봤다. Corpus와 원시 데이터 코퍼스는 사전학습을 위한 대량의 텍스트 데이터 집합이다. 원시 데이터는 블로그, 뉴스...#llm #nlp #pretraining|2025-11-04