读懂 TOKEN · 配套工具

看见你的 Token

大模型不是按字数算钱的,是按 Token。粘贴一段话,看它被切成了哪些 Token、要花多少钱;再看看为什么和 AI 聊得越久,越来越贵。

所有计算都在你的浏览器里完成,你输入的文字不会上传到任何地方。

一段话会被切成多少个 Token

对应书中第 2 章。换一个模型,切法和数量都会变;中文和英文的差别,也一眼就能看出来。

试试:
模型:
0字符数
…Token 数
…平均每个 Token 几个字符
…作为输入,大约要花
加载分词器中…

每个色块是一个 Token。右上角带数字的色块,表示一个字被拆成了好几个 Token(常见于生僻字和表情符号)。

三个模型放在一起比

模型Token 数
默认值取自书中表 4-3(DeepSeek V4 Flash,缓存未命中),实际以各家官网为准。

为什么聊得越久,越来越贵

对应书中 4.2 节。大模型没有记忆,每一轮都要把之前的全部对话重新发一遍。所以第 10 轮的一次提问,花的钱远不止这一句话。

系统提示 之前的对话(每轮都重发) 这一轮你新说的话 柱子越往右越高:每一轮发给模型的输入

这里按"每一轮都完全重发、没有缓存"算,是上限。很多平台有缓存命中优惠(见书中 4.5 节),实际会便宜一些,但"越聊越长、越聊越贵"的趋势不变。

分词器来自各模型在 Hugging Face 上公开的文件(DeepSeek V4.1 Flash、Qwen3.8、GPT-4o 的 o200k 分词表),已放在本站,国内可以直接用。Claude、Gemini 等没有公开分词器,所以这里没有。

这是《读懂 Token》的配套工具,更多资料见 配套资源页。