微调
Fine-tuning在预训练模型基础上,用特定领域数据继续训练,使模型更擅长目标任务,同时保留通用能力。
# 训练
# 迁移学习
微调(Fine-tuning)
适合微调的场景: - 统一输出格式(如始终输出 JSON) - 注入领域知识(医疗、法律术语) - 模仿特定风格或语气 - 提升特定任务的稳定性
不适合微调的场景(用 RAG 替代): - 需要引用最新信息 - 需要知道信息来源
主流方式: Full Fine-tuning、LoRA、QLoRA
资源需求: 至少数百条高质量样本;GPU 内存需求因方法而异