kylearn
提示工程

Token(词元)

Token

AI 数数和计费的'最小零件',它不是按字也不是按词,而是把文字切成一小块一小块来处理,大概一个汉字算 1-2 个零件。

先打个比方

你去菜市场买排骨,老板不会按"一整扇猪"卖给你,而是剁成一块一块称重计价。AI 读文字也是这样:它没法一口吞下一整段话,得先把文字"剁"成一小块一小块,再一块一块地处理。这每一小块,就叫一个 Token(中文常翻成"词元")。

它到底是什么

简单说,Token 就是 AI 数数和算账的最小零件。一块 Token 不一定正好是一个字,也不一定是一个词——有时一个常用词是一块,有时一个生僻字会被拆成好几块,英文里一个长单词也可能切成两三块。你不用纠结它到底怎么切,只要记住:AI 眼里的世界,是由这些小碎块拼起来的。🧩

为什么和你有关

两件事全靠它算账。第一是:用 AI 的接口(就是程序之间调用服务的"插座")通常按 Token 数收费,你发出去的字、它回给你的字,都要数块数算钱。第二是记性:模型一次能"记住"多长的对话,也是用 Token 来卡上限的——块数用满了,前面的内容它就开始"忘"。所以聊太久 AI 突然像断片,往往就是 Token 装满了。

一句话记住

把话说精炼点,既省钱又让 AI 记得更牢——这就是懂 Token 给你的小红利。

本文为 AI 整理的科普解读,可能有误,仅供入门参考。

没看懂?让 AI 再讲一遍:

延伸阅读:可在公众号「数字生命卡兹克」「Datawhale」搜同名概念的科普文章。