AI token 是什么?读懂大模型的用量、计费与限制

AI token 是什么,为什么消息不多,用量却不少?本文用 OpenAI 官方分词器的实际例子,讲清 token 与单词、字符的关系,区分输入、输出和缓存用量,解释 API 计费、上下文窗口、速率限制与套餐额度,并说明如何借助厂商工具统计真实请求,避免把回答长度当成全部消耗,或把订阅费误当成 API 费用。

发布于

AI token 是什么?读懂大模型的用量、计费与限制

AI token 是语言模型读取和生成文本时使用的小单元,可以是单词、词的一部分,也可以是标点。按 OpenAI 对英文的粗略估算,每个 token 约相当于四分之三个单词,也就是 100 个 token 约合 75 个英文单词。Token 之所以重要,是因为它既影响使用费用,也影响模型能处理多少文本。来源:OpenAI 的 token 指南。

AI token 是什么?

Token 是文本的计量单位,不是一条消息,也不是一次完整任务。大语言模型(LLM)是一类生成语言的 AI 模型。文本要交给模型处理,先由分词器(tokenizer)这种软件拆成小块。

可以把一句话想成一幅马赛克:你看到的是整句话,模型处理的是一块块拼片。拼片大小不一,常见的单词可能只占一块,另一个单词却需要好几块。拆分边界不一定与音节或词典里的词条一致。

分词器还会给每个文本块分配一个数字编号。模型处理这些编号,生成更多 token,再将它们转回可读的文字。OpenAI 的分词器文档展示了文本块及其对应的编号。

对运营人员来说,这里最实用的一点是:消息条数很难反映实际工作量。一句简短指令如果附带一份文档,涉及的文本可能远多于一个单独提出的长问题。

token 计算:怎样算出实际用量?

计算 token,需要用指定的分词器处理原封不动的文本。按单词数乘一个系数,只能得到估算值;运行厂商的分词器,才能得到该分词器下的实际数量。

用 OpenAI 官方工具看一个实际计数例子

OpenAI 的开源分词器 tiktoken 使用 cl100k_base 编码时,会把原文 tiktoken is great! 拆成 6 个 token。这里的编码名称指的是将文本转换为 token 的一套规则:

t · ik · token · is · great · !

这一计数已于 2026 年 10 月 15 日使用 OpenAI 的工具复现。相同的句子和拆分结果也见于 OpenAI 的分词器教程。它计算的是这段纯文本,不是一次聊天请求的总用量。

注意 is 和 great 开头的空格。空格可能与后面的单词归在一起,而这个例子中的感叹号单独占一个 token。就连工具自身的名字也被拆成了几块。因此,数单词之间的空格,并不能可靠地算出 token 数。

例子特意写明编码名称,是有原因的:模型使用的分词器变了,拆分结果也可能改变。只有同时说明原文和所用的分词器,这个计数才有意义。

ChatGPT token 怎么算?先用厂商的工具

OpenAI 的可视化 Tokenizer可以让你粘贴文本,查看拆分后的各个部分。使用时,应从可选的编码或模型中选择与你的任务对应的一项;换一种编码做出的演示,不能当作计费承诺。

OpenAI 官方可视化分词器,用于查看文本如何拆分为 token
OpenAI Tokenizer

其他厂商也有各自的计数工具:

  • Anthropic Claude:token 计数接口可按所选模型,统计其支持的消息输入。文档也列出了无法统计的请求功能。
  • Google Gemini:count_tokens 工具用于在生成前统计输入,响应中的用量信息则会报告实际消耗。

这些工具都遵循各自厂商的计数规则。如果自动化流程通过 API,也就是应用与 AI 模型之间的接口运行,应让开发人员按实际使用的模型和请求格式计数。

一个 token 相当于多少个单词?

对于英文文本,OpenAI 给出的近似关系是:一个 token 约等于 4 个字符或四分之三个单词,100 个 token 约等于 75 个单词。这些只是厂商给出的估算,不是固定换算公式。OpenAI 的帮助文章明确说明,语言和文本结构都会影响这种关系。

可以用这个粗略算法判断一份初稿的篇幅大小。但面对多语言营销内容、产品目录或含有代码的文档,应先对实际材料计数,再承诺容量或预算。

输入 token 和输出 token:发进去的与生成出来的

**输入 token 是模型收到的内容,输出 token 是模型生成的内容。**输入可能远不止你刚刚打出的那句话。

以客服流程为例。你在界面上输入的指令只是“起草一份回复”,应用却可能同时发送预设指令、客户之前的消息,以及相关退货政策。这些提供给模型的材料都属于输入,生成的回复草稿则属于输出。

Anthropic 的计数文档涵盖指令、消息和工具等结构化输入。Google 的多轮对话示例则说明了为什么之前的对话轮次也会计入后续用量。

指令、对话历史和最新消息都作为输入进入模型,生成的回复则作为输出离开模型
最新一条消息,只是应用可能发送的输入内容的一部分。

对营销人员来说,每次写一小段文案都附上全部品牌资料,这种做法值得重新审视。对创业者来说,则应要求开发人员测量完整请求,而不是只根据界面上的聊天气泡估算。

输出端还有一个容易忽略的区别。OpenAI 的推理模型文档说明,内部推理 token 虽然不会显示为回答文本,仍计入输出用量。因此,眼前的回答很短,实际输出 token 数却可能比显示出来的文字更多。

为什么输出 token 往往更贵?

读取已有提示词和继续生成文本,对计算系统的要求不同。完整输入一开始就已就绪,因此其中很多处理可以并行完成。常规的输出生成则按顺序进行,后面的 token 依赖前面已经生成的 token。NVIDIA 在其输入处理与生成技术指南中解释了这一区别。

这有助于理解为什么输入和输出分别定价,但不能由此推导出统一的价格比例:各家服务商自行定价,模型设计和推理服务技术也各不相同。

落实到实际工作中,读取文档后只返回简短标签的流程,与生成长篇报告的流程,用量构成会很不一样。比较这类工作负载时,应分别查看输入和输出总量。

月度费用计算示例: Anthropic 目前公布的 Claude Sonnet 5.5 标准 API 价格为:输入每百万 token $2,输出每百万 token $10。假设一个月累计使用 100 万个未缓存的输入 token,加上 100 万个输出 token,按此计算,模型 token 费用就是 $2 + $10 = $12。这个示例小计按标准全球处理方式计算,不含缓存或批处理折扣,也不含付费工具费用和税费。厂商价格,核验于 2026 年 10 月 15 日。

这是用量费用的小计,不是订阅价格,也不是对你每月使用量的预测。自动化流程的用量会在一次次 API 请求中累积,修改和重试也会增加工作量。

缓存输入指服务商复用此前处理过的提示词材料,其计费规则可能不同。具体机制可见我们的 KV-cache 与提示词缓存详解。如果要按价格选择模型,可以参考低价 AI API 对比;这里的示例只是为了讲清计量单位。

AI 的 token 限制,到底限制了什么?

**先弄清触及哪种限制,再考虑换套餐。**单次请求太大、短时间内请求太密,以及订阅额度用完,需要不同的解决办法。

上下文限制决定模型在一次请求中能处理多少材料,最大输出限制决定它最多能生成多少内容。除了你提供的材料,也要给回答留出空间。更完整的说明见我们的上下文大小与上下文工程指南。

API 速率限制约束的是发送请求或 token 的速度,费用上限约束的是花费。两者都不代表某一次请求能装下多少材料。OpenAI 在其 token 指南中区分了这些限制。

聊天套餐额度则按具体产品的规则约束使用量。Anthropic 表示,Claude 的用量会随对话长度与复杂程度、所选模型、功能及推理强度而变化。其使用额度与长度限制指南还说明,使用额度与对话长度限制是两回事。

判断路径:请求过大时缩短上下文,触及速率限制时放慢请求,额度用完时等待恢复或升级套餐
按限制类型选择办法:长度、速度,还是使用额度。

对运营人员来说,这意味着买更多使用额度,不一定能让超大的文档塞进一次请求。新开一个对话,可能减少后续请求继续携带的材料,但不会清除已经消耗的用量。

AI token 怎么买?

通常,你通过所用的产品支付访问费用或按量使用费。充值前,先确认买的是订阅、API 用量,还是应用自己的积分余额。

例如,OpenAI 明确说明,ChatGPT 订阅与 API 用量分别计费。付了聊天产品的订阅费,并不意味着 API 的 token 费用就免了。其他产品可能采用不同的用量打包方式,应查看向你收费的产品的具体条款。

关于 token 数量,哪些说法被夸大了?

**Token 数字越大,不代表回答质量越高。**容量说明能容纳多少内容,却不能证明回答是否正确、实用,或值得这笔花费。

同样,token 单价更低,也不能直接断定哪个模型完成你的任务更便宜。不同分词器可能以不同方式拆分相同材料,不同流程也可能产生不同数量的输出和推理 token。真正应该比较的是,得到一个合格结果总共要花多少钱。

别把减少 token 变成“谁的提示词最短”的比赛。删去无关附件是合理的;如果删掉某条政策例外,导致客服回复不再准确,那就是省小钱、丢关键。保留会改变答案的信息,移除与任务无关的材料。

下周就能落实的改进

**如果你负责自动化流程,或经常碰到使用限制,现在就该行动。**如果只是偶尔使用聊天应用,而且一直没有超过额度,就没必要逐句计算 token。

  1. 运营人员:先看清计量方式

    查看用量页面和限制提示,记下限制针对的是请求长度、请求速率、费用,还是套餐额度,再选择相应的解决办法。

  2. 营销人员:统计一个有代表性的任务

    取一份真实的需求说明,加上平时会一起发送的辅助材料,用厂商的计数工具检查,再按任务需要指定输出格式。关键的品牌要求和事实要求要保留。

  3. 创业者与采购方:索取用量明细

    请开发人员或供应商提供一个有代表性的已完成任务的用量明细,包括输入、输出、缓存用量,以及单独收取的工具费用。先据此预测自己的使用规模,再决定是否升级或更换模型。

AI token 常见问题

AI 里的 token 是什么?

Token 是语言模型处理的一个文本块,可以是词的一部分、一个完整单词,也可以是标点,并不一定对应一个完整单词。

AI 中的 tokenization 是什么意思?

Tokenization 指把输入拆成模型使用的小块,并用模型词表中的对应项表示这些文本块的过程。具体怎么拆,由分词器的规则决定。

AI 四巨头是谁?

这个说法讨论的是公司排名,不是 token 标准。要计算用量和费用,应先确认工具背后的厂商及具体模型;列出几家知名公司,无法确定它的 token 用量。

ChatGPT 的 100 万 token 要多少钱?

ChatGPT 没有统一的 token 美元换算价格。ChatGPT 产品与 OpenAI API 分别计费。计算 API 费用时,要确定模型,并区分输入和输出;使用聊天套餐时,则要查看该套餐的用量规则。

一个 AI token 值多少钱?

它没有固定的货币价值,使用费用取决于服务商、模型和计费类别。Token 是处理单位,不是可以转让的货币。

谁来支付 AI token 的费用?

对于直接按 API 计费的流程,由发起请求的账户向服务商付费。如果使用封装好的应用,付订阅费、按量付费,还是两者都付,要看应用协议。应问清报价包含哪些费用。

AI 的 1000 个 token 是多少?

如果问费用,要看模型,以及这些 token 属于输入、输出还是缓存。如果问文本量,则取决于分词器和语言。应使用厂商的分词器计算,不要把它当成固定的字数额度。

ChatGPT 的 token 是怎么工作的?

文本会先被拆成 token,用于处理和生成。你输入和收到的文字,不一定就是全部用量:提供给模型的上下文,以及支持推理的模型所产生的内部推理,都可能计入用量。

哪个 AI 的 token 最多?

先明确你指的是最大的上下文窗口、最长的输出,还是最多的套餐内用量。这些衡量的是不同维度。确定维度后,再比较具体模型或套餐的最新文档。

AI 可以免费用吗?

可以。例如,Claude 提供免费套餐,但有使用限制。免费使用不等于用量无限,也不等于上下文窗口无限。

想看更多关于 AI 工具及其选择逻辑的实用解读,欢迎订阅邮件通讯。

发布日期
分类
AI
Abacus AI 评测:小团队值得整合 AI 订阅吗?

Abacus AI 评测:小团队值得整合 AI 订阅吗?

Abacus AI 能否替代团队的 ChatGPT 和 Claude 订阅?本文依据厂商文档与定价,梳理 ChatLLM 多模型对话、共享文件、DeepAgent 智能体及桌面工作流,比较 Basic 与 Pro 的费用、积分规则、模型回退和数据管理边界,帮助小团队判断哪些席位值得整合,哪些原生工具仍应保留。2026年11月10日AI
Mercor 替代品怎么选:2026 年六家竞品与采购建议

Mercor 替代品怎么选:2026 年六家竞品与采购建议

寻找 Mercor 替代品,先分清要买托管数据集、专家评测,还是自行管理的专业人才。本文比较 Scale AI、Surge AI、Turing、micro1、Handshake AI 与 Toptal 的交付方式、筛选机制、质量跟踪和价格信息,说明如何统一验收需求、比较试点输出、厘清返工责任,选出适合团队的合作模式。2026年11月9日AI
Perplexity AI 与 Grok 怎么选?研究、实时讨论与订阅费用对比

Perplexity AI 与 Grok 怎么选?研究、实时讨论与订阅费用对比

Perplexity AI 和 Grok 哪个更适合工作?本文围绕可追溯来源、X 实时讨论、长时间推理、免费额度与付费套餐逐项比较,说明 Pro、Premium 及现有 SuperGrok 订阅的区别,并梳理团队权限、数据保护和共享用量限制。根据真实研究任务判断该选谁、何时值得升级,以及更换工具前需要保留哪些工作资料。2026年11月8日AI
Perplexity 用什么模型?看懂 Sonar、Pro 选项与自动选择

Perplexity 用什么模型?看懂 Sonar、Pro 选项与自动选择

Perplexity 用什么模型,不能只看 Sonar 这个名字。本文梳理自研模型与第三方模型的关系、Pro 和 Max 可选的 Search 模型,以及 Best、Pro Search 和 Research 的区别;同时说明如何查看实际作答模型、为何手动选择仍可能被替换,帮助你按研究任务选择设置并核查回答依据。2026年11月8日AI
ChatGPT 文件上传限制:各套餐额度、文件大小与报错处理

ChatGPT 文件上传限制:各套餐额度、文件大小与报错处理

ChatGPT 文件上传限制不只有文件大小:免费版每天可上传 3 次,文档还受 512 MB 和 200 万 token 上限约束。本文按套餐梳理上传频率、Project 文件数、Library 存储空间,以及 PDF、表格和图片的限制,帮助你判断报错原因,选对清理、等待或拆分方式,并在上传后核对分析结果。2026年11月7日AI
Microsoft Scout 上手指南:启用条件、权限边界与试点怎么做

Microsoft Scout 上手指南:启用条件、权限边界与试点怎么做

Microsoft Scout 能处理本地文件、邮件、日历和周期性任务,但试点前必须理清许可、Frontier 准入、Intune 策略及数据边界。本文拆解管理员设置、Heartbeat 审批规则与可测试的工作流,帮助 IT 团队判断哪些准备工作适合交给 AI、哪些操作仍需人工审核,以及何时应暂缓部署。2026年11月6日AI
ChatGPT 企业版选型:Business 够不够,何时升级 Enterprise?

ChatGPT 企业版选型:Business 够不够,何时升级 Enterprise?

ChatGPT 企业版该选 Business 还是 Enterprise?本文从单点登录、SCIM、角色权限、审计日志、数据保留与区域驻留逐项比较,解释共享额度、点数和 token 计费的区别,梳理采购与部署前要验证的事项。先找出 Business 无法满足的管控要求,再判断是否升级,避免仅凭团队规模或功能名称做决定。2026年11月6日AI
ChatGPT Go 和 Plus 区别详解:价格、限制与选购建议

ChatGPT Go 和 Plus 区别详解:价格、限制与选购建议

ChatGPT Go 和 Plus 区别在哪?本文对比美国月费、模型与推理权限、文件上传、深度研究、图片生成、语音,以及 Codex 和 Work 智能体能力,说明哪些日常任务用 Go 就够、何时值得升级 Plus,并梳理官方资料差异与 12 月共享用量调整,帮你按实际工作需求选择套餐。2026年11月6日AI
订阅通讯

每周日,一封信。写运转中的系统,不写热评。

每周一期。无垃圾邮件。随时退订。