LoRA
Low-Rank Adaptation通过只训练少量低秩矩阵来适配大模型，大幅降低微调的显存和计算需求，是目前最主流的高效微调方法。
# 微调
# 训练效率
LoRA（低秩适配）
核心思路： 冻结原始权重，仅训练两个低秩矩阵 A 和 B，推理时将 BA 合并回原始权重。
优势： - 可训练参数减少 90%+ - 多个 LoRA 可热插拔切换 - 训练完成后可无损合并，推理无额外开销
关键参数：
- rank (r)：低秩矩阵的秩，越大表达能力越强
- alpha：缩放系数，通常等于 r
- target_modules：应用 LoRA 的层
变体： QLoRA（量化 + LoRA，进一步降低显存）