This is an English guide to the original Chinese report. The body below is the source text — numbers, seeds, and scoring criteria are not rewritten or translated.
H1 完全体复测报告(MCP 语义臂全量向量库)
0. 复现纪律
| 项 | 值 |
|---|---|
| chunfeng | 主线 0d51163e(双索引分裂修复:vault 身份 canonical 化,统一索引命名空间)干净构建,--features fastembed 发货口径,sha 9c2b8abb…(前一个 a1d29a7e 为 Cargo 缓存混入作废,清 target 强制重编确认) |
| 装置继承 | H1 剧本 seed 5520260819、46 题、治理库 30 天原样冻结——唯一变量=双索引修复后的检索质量 |
| 模型 | zhipu-coding-plan/glm-5.3;蒸馏调用 thinking=disabled(沿用) |
| 轨迹 | 本轮 76 run 全事件流 jsonl;前两轮批(98f508ef/28df8ed7)同口径备份;体积大未入库,评测机存档备查 |
| 判分 | scripts/h1-score.py 归一化匹配 + MISS 逐条人工终审(三轮同口径) |
| no-mycel / naive-rag | 沿上轮(与检索无关) |
1. 主结果(三轮对照,mycel 臂)
| 时间点 | 98f508ef(基准) | 28df8ed7(检索快赢) | 0d51163e(完全体) |
|---|---|---|---|
| d1(8) | 88% | 100% | 100% |
| d7(22) | 86% → 终审 95% | 90% → 终审 95% | 机器 86% → 终审 90.9%(20/22) |
| d30(46) | 88%(终审 95.7%) | 86%(终审 97.8%) | 机器 88% → 终审 97.8%(45/46) |
| 泄漏门禁 | 0 | 0 | 0 ✓ |
| in_tok d30 | 17,632 | 19,143(+8.6%) | 17,158(-3.9% vs 快赢轮) |
| 时延 d30 | 12.0s | 15.1s | 9.8s(-35% vs 快赢轮) |
趋势:准确率终审口径三轮持平上行(95.7%→97.8%→97.8%),成本/时延在双索引修复后回落(retrieval 快赢轮的锚点保底开销被语义臂分流)。
2. MISS 终审明细(完全体)
d30 机器 5 条 → 4 HIT + 1 真 MISS:
| 题 | 机器 | 终审 | 依据 |
|---|---|---|---|
| P1(深工作时段) | MISS | HIT | 答「上午 10–13 点」完全正确,破折号 – vs 连字符 - 归一化差异 |
| D10/D12/D13(否决理由) | MISS | HIT | 三题答案全对(重分支/slog 够用/规模不需要),金标理由短语词形变 |
| P4(咖啡偏好) | MISS | 真 MISS | day4 蒸馏未入库,三轮同源缺口,非检索问题 |
d7 机器 3 条 → 1 HIT + 2 真 MISS:
- D10(miss→HIT):答「两人小团队用不起重分支」正确(GitFlow,词形差)
- P4 + F6(拾荒者三待办模块):真 MISS——F6 与 P4 同族:蒸馏把结构化清单类事实丢了(day1 项目的 blocks 括号清单未入治理库)
终审: d1 100% | d7 20/22=90.9% | d30 45/46=97.8%;真 MISS = P4(轻偏好)+F6(清单类)——均为蒸馏层召回缺口,非检索。
3. 归因与诚实条款
- 双索引修复验证(装置级):语义臂探针实证「CI 选型/数据库迁移」概念词命中治理文件、「工作时段偏好」0 命中——全量向量库在读取,语义检索部分生效;概念近义 recall 仍受限(30 篇小治理库的上限)。与 28df8ed7 轮(同构建探针为空)对比,锚点保底+全量向量的叠加把 d30 时延从 15.1s → 9.8s(向量臂分担了字面回退的轮次)。
- 准确率三轮对比如实:终审口径 95.7%→97.8%→97.8%——双索引修复没有带来准确率跃升,因为 46 题里检索敏感子集在快赢轮已被锚点保底覆盖;索引修复的收益落在成本/时延轴(检索更准→少走回退轮次),不硬凑成准确率功劳。
- 剩余真 MISS 全在蒸馏层(P4 轻偏好 / F6 清单类)→ 与检索解耦的产品改进项,已被 H1 主报告 §5 列为蒸馏规则短板,三轮复现,建议蒸馏 prompt 增加「偏好敏感词保留」+「结构化清单去括号入账」两类规则。
- 机器口径 vs 终审口径差异为判分器对「决策理由短语/破折号数字」的词形敏感,三轮同口径处理,逐条依据可查轨迹。
4. 一句话
双索引修复后 H1 mycel 臂终审 97.8%(d30)/90.9%(d7)/100%(d1),准确率与快赢轮持平、时延降 35%、成本降 3.9%;索引收益落在成本/时延轴;剩余真 MISS 全为蒸馏层缺口(P4 轻偏好/F6 清单),与检索无关。
勘误（2026-08-31）
§1 表格「in_tok d30」行写「17,158(-3.9% vs 快赢轮)」：原数据 19,143→17,158 不变，但百分比应为 -10.4%（(17,158−19,143)/19,143≈−10.37%），非 −3.9%。§4 一句话中「成本降 3.9%」沿用同一笔误，应以 −10.4% 理解。
Source file docs/benchmarks/2026-08-19-h1-retest-dual-index.md · report date 2026-08-19 · page generated 2026-09-15. Scoring scripts are not published on this site.