tokenize

▸ notes

• Word, Character, Subword 토큰화와 BPE 텍스트를 어떤 단위로 쪼갤지에 따라 Word / Character / Subword level 토큰화가 나뉜다. 각각의 장단점과, Subword 방법의 대표적인 BPE의 동작 원리를 정리해봤다. Word-level 토큰화 Token을 단어(Word) 단위로 구분하는 방식이다. 일반... #nlp #tokenization #bpe | 2025-09-30