Token(词元)
Token
AI 数数和计费的'最小零件',它不是按字也不是按词,而是把文字切成一小块一小块来处理,大概一个汉字算 1-2 个零件。
先打个比方
你去菜市场买排骨,老板不会按"一整扇猪"卖给你,而是剁成一块一块称重计价。AI 读文字也是这样:它没法一口吞下一整段话,得先把文字"剁"成一小块一小块,再一块一块地处理。这每一小块,就叫一个 Token(中文常翻成"词元")。
它到底是什么
简单说,Token 就是 AI 数数和算账的最小零件。一块 Token 不一定正好是一个字,也不一定是一个词——有时一个常用词是一块,有时一个生僻字会被拆成好几块,英文里一个长单词也可能切成两三块。你不用纠结它到底怎么切,只要记住:AI 眼里的世界,是由这些小碎块拼起来的。🧩
为什么和你有关
两件事全靠它算账。第一是钱:用 AI 的接口(就是程序之间调用服务的"插座")通常按 Token 数收费,你发出去的字、它回给你的字,都要数块数算钱。第二是记性:模型一次能"记住"多长的对话,也是用 Token 来卡上限的——块数用满了,前面的内容它就开始"忘"。所以聊太久 AI 突然像断片,往往就是 Token 装满了。
一句话记住
把话说精炼点,既省钱又让 AI 记得更牢——这就是懂 Token 给你的小红利。
本文为 AI 整理的科普解读,可能有误,仅供入门参考。
没看懂?让 AI 再讲一遍:
延伸阅读:可在公众号「数字生命卡兹克」「Datawhale」搜同名概念的科普文章。