Entity

Tokenization

将文本分解为token的过程，常用Byte Pair Encoding，是LLM输入处理的第一步。