过拟合与欠拟合
Overfitting & Underfitting过拟合指模型在训练集表现好但泛化差；欠拟合指模型容量不足，连训练集也拟合不好。
# 评估
# 训练技巧
过拟合 vs 欠拟合
| 训练误差 | 验证误差 | 原因 | 对策 | |
|---|---|---|---|---|
| 欠拟合 | 高 | 高 | 模型太简单 | 增大容量、更多特征 |
| 正常 | 低 | 低 | 恰当平衡 | 保持 |
| 过拟合 | 低 | 高 | 模型记住训练集 | 正则化、更多数据 |
对抗过拟合： - Dropout - L1/L2 正则化 - 数据增强 - Early Stopping - 减少模型参数
LLM 中的体现： 过度微调小数据集会导致"灾难性遗忘"——原有能力退化。