Token
TokenLLM 处理文本的最小单位，通常是子词（subword）。Token 数量直接影响 API 成本和上下文容量。
# LLM
# 计费
Token
Token 是 LLM 读写的基本单元，通过 BPE（字节对编码）等算法将文本切分。
规律： - 英文：1 Token ≈ 4 个字符 / 0.75 个单词 - 中文：1 个汉字 ≈ 1-2 Token - 代码：关键字通常 1 Token，变量名可能更多
为什么重要： - API 按 Token 计费（输入 + 输出） - 上下文窗口以 Token 为单位 - 生成速度以 Token/s 衡量