先切成块,再交给模型
Token 就是文本进入模型前被切成的"处理小块":一段文字先由分词器切成它能识别的单位,再把每个单位映射成编号,模型处理的就是这一串编号。
词、标点、空格和文字片段都可能参与切分。像把连续的一串材料分成可处理的部件,但"部件有多大"没有全世界统一的尺寸:不同模型可能使用不同分词器,同一句话得到的 Token 数量也可能不同。
先切成单位,再映射为编号
- 01示意甲
两块
- 02示意乙
四块
纯粹演示切分概念;精确计数使用对应模型的实际分词器。
同一句话,可以有不同的切法
用“今天下雨”做一个纯示意:一种切法可以把“今天”和“下雨”分成两块,另一种可以把四个字分别分开。内容一样,块数却是2和4。这里并非展示任何真实模型的结果,只用它说明:Token数是按具体切分规则得到的,不是文字天然自带的唯一数字。
编号也不是给词语排重要程度,而是让程序能识别这些单位。就像超市给商品编货号,号码本身不用长得像商品;分词器把文本变成编号序列,模型据此处理,输出再被转换成可读文字。因此“最多处理多少Token”说的是这类单位的容量,Token 数随分词规则变化,要数得准,就用对应模型的分词器算一次;不同模型的计数各有各的口径。
它影响长度和费用,但不等于字数
模型可处理的上下文长度通常以Token计量,接口也常按输入、输出等用量计费。长资料会占用上下文,模型输出本身也可能受长度限制。
中文、英文、代码的切分特点不同,各按各的实际用量计算。需要精确计算时,应使用对应模型的分词器或接口返回的实际用量。
更多Token不自动等于更好的回答
提供必要材料通常有帮助,但重复信息、无关段落或彼此矛盾的资料也可能增加干扰。与其只追求超长输入,更重要的是提供与问题相关、结构清楚的内容。
这里的Token指模型文本单位。登录接口里的访问令牌也常叫token,那是身份凭据,和文本分词不是同一个概念。