Entity

tokenizer

文本分词器，将输入文本转换为模型可处理的token序列，支持截断、填充等操作。