#tokenizer

• Tokenizer 이해하기Transformer에 문장을 넣기 전, 텍스트를 어떻게 숫자로 바꾸는지 tokenizer를 정리한다. 왜 필요한가 Transformer에 넣을 입력이 numeric 데이터가 아니라면 그대로 넣을 수 없다. 텍스트를 숫자로 바꾸는 과정이 필요한데, 그게 tokenizer가 하는 일...#nlp #transformer #tokenizer #huggingface #able|2025-09-20