大模型的token什么东西

 在使用ai大模型（LLM）中经常听到，使用了多少token,这里的token是什么内容，它是怎么来的呢？

 

我们先理解大模型，是由现实中的文字进行词语拆分，然后根据拆分定义词语之间的关系，不同内容不同词语之间的关系也不同。

这里定义的每一个词语或者文字都可以定义为一个token。而参数比如8B 32B数据量，则是对应词语的数量，并用向量表示。

 

举例子：

（1）我喜欢上网。拆分单词： 我、喜欢、上网

（2）互联网有很多共享的资料： 拆分词： 互联网、有、很多、共享、的、资料

当不同的分词器，拆分不同，颗粒度不同。训练出来的模型智能度（词关系）不高。

理论上，拥有的语义资料越多，拆分词越多，训练出来的关系就越精确。

这里的拆分词就是token了。

 

当我们调用ai问问题：问题会被拆分不同的token，并根据关系，计算相关的词语，用于回答。

 

Token的重要性与实际影响

‌影响处理效率‌：Token划分的合理性直接影响模型的理解能力和生成质量。‌‌

‌决定资源消耗‌：Token总量是衡量文本数据规模、影响训练和推理所需计算资源（如内存、时间）的核心指标。‌‌

‌连接人类与机器‌：作为“语言的乐高”，Token实现了人类自然语言与机器可计算数字表示之间的转换，是大模型运作不可或缺的核心组件