幻觉
HallucinationLLM 生成听起来合理但实际不准确或完全虚构信息的现象,是当前 AI 应用落地的主要挑战之一。
# 可靠性
# 评估
幻觉(Hallucination)
类型: - 事实性幻觉:编造不存在的人名、引用、数据 - 逻辑幻觉:推理步骤看似合理但结论错误 - 忠实性幻觉:背离输入文档内容
根本原因: LLM 是概率生成模型,目标是生成连贯文本,而非确保事实准确。
缓解方法: - RAG(有来源可引用) - 降低 Temperature - 要求模型标注不确定性 - 事实检查后处理
原则: 高风险场景(医疗、法律)必须有人工审核。