Pretrain Corpus 정제와 Memorization

LLM은 온라인에서 긁어모을 수 있는 최대한 많은 텍스트로 사전학습한다. 그런데 그 원시 데이터를 그대로 쓰지 않고 굳이 정제 작업을 거치는 이유가 무엇인지 정리해봤다.

Corpus와 원시 데이터#

코퍼스는 사전학습을 위한 대량의 텍스트 데이터 집합이다. 원시 데이터는 블로그, 뉴스, 서적, 댓글, 웹 문서, 커뮤니티 게시글 등 온라인에서 수집한 것으로, 규모가 5TB에 이르기도 한다.

문제는 이 원시 데이터 안에 학습에 불필요하거나 유해한 것들이 섞여 있다는 점이다.

• 욕설 및 혐오 표현
• 중복 데이터
• 개인정보가 포함된 데이터

Memorization#

Memorization은 LLM이 코퍼스 내에 존재하는 데이터를 암기하는 현상이다. 두 가지 경향이 있다.

• 코퍼스 내에 중복하여 등장한 데이터일수록 쉽게 암기한다.
• 모델 크기가 클수록 암기 능력이 향상된다.

공개된 원시 코퍼스를 분석한 연구에서는 데이터 내 최대 300만 회 이상 무의미하게 중복된 문장과, 최대 1,000만 회 이상 등장하는 개인정보(전화번호, 이메일, IP 주소 등)가 확인됐다.

그래서 정제가 필요하다#

정제하지 않으면 두 가지 문제가 생긴다.

• 무의미한 중복 데이터는 학습 자원만 소모하고 모델 학습에 유의미한 도움을 주지 못한다.
• 혐오 표현이나 개인정보가 weight에 박혀, 서비스로 배포했을 때 부적절한 답변이나 개인정보 유출로 이어질 수 있다.

즉 정제는 학습 효율을 끌어올리는 동시에, 암기로 인한 유출을 막는 작업이다.