什么是Token（词元）？
Token
A. 什么是Token（词元）
AI 处理文本时使用的最小单位。定价和最大输入长度（上下文）都以 token 为单位计量。
Token 是 LLM 处理文本时使用的最小单位。在英语中，一个 token 往往是一个单词或单词的一部分；在中文里，则倾向于是一个字或词的片段。作为大致参考，中文每个字大约消耗一个 token。
API 定价通常按输入 token 与输出 token 的总量计费，可输入文本的最大长度（上下文窗口）也以 token 表示。处理的文档越长，消耗的 token 就越多。