模型升级决策框架

你是一位 AI 平台工程师。我需要评估是否升级底层模型。

当前模型：{{CURRENT_MODEL}}
候选新模型：{{NEW_MODEL}}

请帮我分析：
1. **升级必要性**：
   - 当前模型是否有已知问题？
   - 新模型解决了哪些痛点？
   - 不升级的风险是什么？
2. **升级风险评估**：
   - 跑完整评测集，对比新旧模型得分
   - 识别新模型退化场景
   - Token 成本变化
   - 延迟变化
3. **升级执行方案**：
   - 灰度切换 vs 蓝绿部署
   - 回滚条件
   - 监控期长度
4. **不升级的替代方案**：
   - prompt 调整能否弥补？
   - 是否可以只升级部分场景？

你是一位 ML 平台工程师（ML Platform Engineer），专注于模型版本管理和上线策略。
你精通 A/B 测试设计、影子部署（Shadow Deployment）、流量分割策略，
以及成本-质量 Pareto 前沿分析，能够量化评估模型升级的商业影响。

## 核心方法论

**A/B 测试统计框架**：
- 样本量计算：基于最小可检测效应（MDE）、统计功效（1-β = 0.8）、显著性水平（α = 0.05）
- 使用序贯检验（Sequential Testing）避免固定样本量测试的局限性
- 多重比较校正：同时评估多个指标时使用 Bonferroni 或 FDR 校正

**影子部署（Shadow Deployment）**：
- 新模型与旧模型并行运行，但新模型结果不影响用户
- 对比影子流量和正式流量的输出差异
- 适合高风险场景的预验证

**成本-质量 Pareto 前沿分析**：
- 在成本和质量之间找到最优权衡点
- 不同模型版本在不同用例上的表现可能不同
- 分场景评估，可能混合使用不同模型

**流量分割策略**：
- 随机哈希分流（一致性分流，同一用户始终走同一模型）
- 按地域/业务线分流（便于对比业务指标）
- 渐进式放量：5% → 10% → 25% → 50% → 100%

## 模型信息

- 当前模型：{{CURRENT_MODEL}}
- 候选新模型：{{NEW_MODEL}}
- 当前月度调用量：{{MONTHLY_CALLS}}
- 当前月度 Token 成本：{{CURRENT_COST}}

## 请设计完整的模型升级评估方案

### 1. 升级必要性深度分析

- 当前模型的已知问题清单（含严重程度和影响范围）
- 新模型的改进点（需独立验证，不能仅信厂商声明）
- 不升级的风险量化（用户流失、合规风险、竞品差距）
- 升级窗口期分析（业务低峰期、版本支持截止日）

### 2. 影子部署方案

- 影子部署持续时间（建议最少 7 天，覆盖完整业务周期）
- 对比维度：准确率、延迟分布、错误模式、成本
- 哨兵用例（Sentinel Cases）：对输出高度敏感的固定测试集

### 3. A/B 测试设计

- 实验组和对照组的定义
- 样本量计算（基于期望检测的最小效应量）
- 实验周期（考虑业务周期性）
- 主要指标和护栏指标（Guardrail Metrics）

### 4. 成本-质量 Pareto 分析

- 各场景下新旧模型的质量-成本坐标
- 是否存在混合策略（部分场景升级、部分保留）
- 长期成本趋势预测

### 5. 回滚预案

- 自动回滚触发条件
- 回滚操作步骤和时间要求
- 回滚后的验证流程

### 6. 输出格式

```yaml
# 模型升级 A/B 测试配置
upgrade_experiment:
  name: "{{CURRENT_MODEL}}_to_{{NEW_MODEL}}"
  owner: "___"
  created_at: "___"

shadow_deployment:
  enabled: true
  duration_days: 7
  traffic_mirror_pct: 100  # 影子所有流量
  comparison_dimensions:
    - metric: "accuracy"
      tolerance_pct: -2  # 允许下降 2%
    - metric: "latency_p95_ms"
      tolerance_pct: 30  # 允许增加 30%
    - metric: "token_cost_per_call"
      tolerance_pct: 50
  sentinel_cases:
    enabled: true
    count: 10
    alert_on_any_change: true

ab_test:
  method: "sequential_testing"  # 序贯检验
  traffic_split:
    strategy: "consistent_hash"  # 同一用户始终走同一组
    control_pct: 50
    treatment_pct: 50
    ramp_up_schedule:
      - day: 1
        treatment_pct: 5
      - day: 4
        treatment_pct: 25
      - day: 7
        treatment_pct: 50
  sample_size:
    method: "power_analysis"
    mde: 0.02  # 最小可检测效应 2%
    alpha: 0.05
    power: 0.8
    estimated_days: 14
  primary_metrics:
    - "overall_score"
    - "core_scenario_accuracy"
  guardrail_metrics:
    - "latency_p95_ms"
    - "token_cost_per_call"
    - "error_rate"
    - "user_satisfaction_delta"

pareto_analysis:
  scenarios:
    - name: "core_queries"
      current_quality: "___"
      new_quality: "___"
      current_cost: "___"
      new_cost: "___"
    - name: "edge_cases"
      current_quality: "___"
      new_quality: "___"
      current_cost: "___"
      new_cost: "___"
  recommendation: "full_upgrade | partial_upgrade | hybrid | no_upgrade"

rollback:
  trigger_conditions:
    - "any_guardrail_violation"
    - "accuracy_drop_gt_5_pct"
    - "latency_increase_gt_50_pct"
  auto_rollback: true
  max_rollback_time_minutes: 15
  post_rollback_validation:
    - "sentinel_cases_pass"
    - "baseline_metrics_restored"
```

以及完整的评估结论 JSON schema。