读懂 TOKEN
《读懂 Token》配套资源
这里放着这本书的配套内容：一个能看见 Token 的小工具、99 条免费公开的延伸学习资料、写书时用到的参考资料、读者交流群，以及勘误。书里的价格和数据会过时，这里会持续更新。
参考资料
书中数据的出处、各家官方价格页和值得一读的原始论文。每个链接都在 2026 年 10 月 26 日打开核对过。价格类页面会变，以打开时看到的为准。
各家官方价格页（书里的价格会过时，这里随时看最新的）
- DeepSeek 模型与价格书中第 4 章多次用 DeepSeek V4 Flash 举例；2026 年 10 月起已换成 V4.1 Flash，分峰谷计价
- OpenAI API 价格
- Anthropic（Claude）API 价格
- Google Gemini API 价格
前言：Token 是新的能源货币
- 国家数据局局长刘烈宏出席国新办新闻发布会国家发展改革委官网，2026-03-25。「我国日均 Token 调用量已经超过 140 万亿，相比 2024 年初的 1000 亿增长了 1000 多倍」
- 我国日均词元调用量超 140 万亿新华社，2026-03-24
- Token 中文名定了！新华社，国家数据局官网转载，2026-03-25。官方译名「词元」
- 杨斌：确定 token 的中文译名，已经迫在眉睫了原载腾讯研究院，36氪转载，2026-03-18。「模元」译法的出处
- Stanford HAI：The 2025 AI Index ReportGPT-3.5 水平的推理成本，2022 年 11 月到 2024 年 10 月下降了 280 多倍
第 2 章：Token 到底是什么
- OpenAI：What are tokens and how to count them?英文里 1 个 Token 约等于 4 个字符、约 0.75 个单词
- OpenAI：Hello GPT-4o2024-05-13。新分词器下，同一句话的中文 Token 从 34 个降到 24 个
- OpenAI tiktokenGPT-4 用 cl100k_base（约 10 万词），GPT-4o 用 o200k_base（约 20 万词）
- DeepSeek-V3 Technical ReportDeepSeek-AI，2024-12。词表约 12.8 万
- SolidGoldMagikarp (plus, prompt generation)Jessica Rumbelow、Matthew Watkins，2023-02-05。「怪异 Token」现象的原始文章
第 3 章：AI 是怎么一个字一个字生成回答的
- Attention Is All You NeedVaswani 等，2017。Transformer 和注意力机制的原始论文
- Lost in the Middle: How Language Models Use Long ContextsLiu 等，TACL 第 12 卷，2024。长上下文中间的内容容易被忽略
- Language Models are Few-Shot Learners（GPT-3 论文）Brown 等，2020。GPT-3 的上下文窗口是 2048 个 Token
- Anthropic：Introducing Claude 3.5 Sonnet2024-06-21。200K 上下文窗口
第 4、5 章：钱花在哪里、不同模型有何差异
- OpenAI：Prompt caching缓存命中的输入按更低价格计费
- OpenAI：Batch API批处理比实时调用便宜 50%
- Anthropic：Batch processing同样是 50% 折扣
第 6 章：Token 机制的 6 个推论
- Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting沃顿商学院 Generative AI Labs，2025-06-08。「一步一步思考」对不同模型的提升
- Vectara 幻觉排行榜各模型做摘要时的幻觉率，持续更新
- Stanford HAI：Hallucinating Law2024-01-11。大模型回答具体法律问题时，幻觉率 69% 到 88%；论文见 Large Legal Fictions
- CJR：AI Search Has a Citation Problem哥伦比亚新闻评论，2025-03-06。八款 AI 搜索给新闻找出处，答错率最高 94%
读者交流群
群二维码准备中，可以先关注公众号「平凡的平凡」。