词汇速查

让模型在处理每个 Token 时动态关注上下文中最相关的部分，是 Transformer 捕获长距离依赖的关键。

模型单次处理时能看到的最大 Token 数量，决定了能处理的文档长度和多轮对话历史深度。

在海量文本上预训练的超大规模神经网络，能够理解和生成自然语言，是当前 AI 应用的核心引擎。

基于自注意力机制的神经网络架构，是 GPT、Claude、Gemini 等所有主流 LLM 的基础结构。

LLM 处理文本的最小单位，通常是子词（subword）。Token 数量直接影响 API 成本和上下文容量。