H1『越用越好』纵向曲线报告(旗舰图数据)
- 执行:OMP,2026-08-19。派单:Sun(简报 55 §H1 权威口径,叙事稿最后占位符)。
- 状态:终版。228 run(no-mycel/naive-rag 76 + mycel 76×2 批,蒸馏修复后 mycel 全量重跑)+ 30 天逐日增量治理,全 rc=0。
0. 复现纪律
| 项 | 值/指针 |
|---|---|
| seed | 5520260819;生成器 scripts/h1-gen-script.py(h1-script-v1,含埋点) |
| manifest | 由生成器按 seed 确定性重算(46 题×day 可用性;235 条原始流 entries 全 sha256;埋点日:偏好定 d3/改 d20/拒绝 d10/勘误 d25←d7) |
| 原始流量级 | 91,153 tok(S0 口径 80-100k ✓),120→235 条,自然啰嗦(会话残渣层) |
| chunfeng | 主线 98f508ef 干净构建 --features fastembed(sha 6dd7e5dd…,上轮 feature 陷阱已避) |
| 模型 | zhipu-coding-plan/glm-5.3;治理蒸馏调用 thinking=disabled(修复过程见 §4) |
| 治理 | 增量纪律(每日只蒸馏当日新增);人审模拟 prompt 冻结于 runner(GOV_PROMPT);拒绝记忆条目零入库 |
| 轨迹 | 228 个 run 全事件流 jsonl(含 token 明细)+ 治理库快照;体积大未入库,评测机存档备查;runner 见 scripts/h1-runner.py |
| 判分 | scripts/h1-score.py(归一化匹配)+ 人工终审(MISS 逐条) |
1. 旗舰图数据(day1/7/30 × 三条件)
| 条件 | day | n | 准确率 | in_tok 均值 | 时延均值 |
|---|---|---|---|---|---|
| no-mycel(全塞历史) | 1 | 8 | 75% | 3,902 | 8.8s |
| no-mycel | 7 | 22 | 95% | 30,688 | 7.7s |
| no-mycel | 30 | 46 | 100% | 122,305 | 8.1s |
| naive-rag | 1 | 8 | 75% | 2,883 | 7.2s |
| naive-rag | 7 | 22 | 67% | 3,112 | 7.1s |
| naive-rag | 30 | 46 | 79% | 3,346 | 10.7s |
| mycel(治理库+检索) | 1 | 8 | 88% | 18,806 | 11.6s |
| mycel | 7 | 22 | 86% | 22,217 | 13.6s |
| mycel | 30 | 46 | 88% | 17,632 | 12.0s |
泄漏门禁(拒绝记忆零注入):0 泄漏(9 个 rejected 题 run 全 CLEAN)✓
2. 假设对照(只对照,不追认)
简报 55 预写假设:
- 「no-mycel 成本随库线性涨」——成立:3.9k→30.7k→122.3k(day30 是 day1 的 31 倍)。
- 「no-mycel 准确率随稀释降」——不成立:75%→95%→100%。GLM-5.3(1M ctx)在 91k tok 内没有被稀释,反而因信息更全更准。
- 「mycel 治理逐日增量、查询恒定」——成立:in_tok 18.8k→22.2k→17.6k(平稳,day30 反而最低;治理库 30 天仅 30 篇小笔记,检索面不随历史涨)。
- 「交叉点=复利实证」——成本轴成立:day7 起 mycel 比 no-mycel 便宜 86%↑,且差距随天数拉大(day30: 17.6k vs 122.3k,省 86%);准确率轴不交叉——no-mycel 满分,mycel 88%。
3. 如实画出来的图(叙事收窄)
按派单预案「稀释效应不出现就如实画、叙事收窄成本轴」:
- 主曲线(成本):no-mycel 线性暴涨(31 倍),mycel 恒定(±15% 内)——day7 交叉后差距单调拉大。这是本实验的旗舰图。
- 准确率副轴:mycel 88% 稳定但低于全塞(100%)——治理蒸馏有召回损耗(见 §5 真信号),诚实呈现。
- naive-rag 恒定便宜(3.3k)但准确率最低(79%)且不升——检索便宜但漏关键上下文(d7 的 P1/D2 检索 miss 直接答「不确定」)。
4. 蒸馏思考吞噬事故(装置修复记录,可复现教训)
首批治理库 22/30 天为空:GLM-5.3 默认深度思考,3000 max_tokens 全部耗在 reasoning,content 空 + finish=length,蒸馏静默产出空文件(失败不抛错)。修复:治理调用强制 thinking:{"type":"disabled"} + max_tokens 6000——day5 复验 CI 决策完整入库后,清治理库+mycel 全量重跑(旧 mycel 批次已删,无混批)。教训:凡「调用模型拿结构化输出」的装置,必须显式关思考或检测 finish_reason=length 重试。
5. 真实产品信号(MISS 终审后的 2 条真 MISS)
- P4 咖啡偏好(day4 定)day30 答不出:治理蒸馏把它当闲聊丢了(day4 治理文件无此条)——「轻量偏好」在蒸馏层有系统性召回缺口,no-mycel/naive-rag 同样 miss(naive-rag d30 也 miss:咖啡只出现在 ramble 里)。
- F5「灯塔看板卡在哪几个模块」:blocks 清单只在 day1 项目简介括号里,治理库存了进展没存「待办清单」——蒸馏对「结构化清单类事实」召回弱。
其余 42 个机器 MISS 终审全为匹配口径误伤(答案正确,金标词大小写/理由词形变),逐条轨迹可查。
6. 主张表(对外口径)
| 主张 | 数字 | 强度 |
|---|---|---|
| 成本恒定 vs 线性暴涨 | mycel 17.6-22.2k 平稳 vs no-mycel 3.9k→122.3k(31×);day30 省 86% | 强(n=46/时间点,确定性判分) |
| 拒绝记忆零泄漏 | 0/9 门禁通过 | 强(主权轴) |
| 准确率 | mycel 88% vs no-mycel 100%(GLM-5.3 1M ctx 下全塞不稀释) | 如实收窄:准确率非本实验主场;蒸馏召回缺口(偏好/清单类)是真改进项 |
| naive-rag | 便宜(3.3k)但最不准(79%)且不随时间升 | 对照组价值:检索不是治理 |
7. 结论一句话
「越用越好」在成本轴成立且证据硬(恒定 vs 31 倍线性,day30 省 86%);准确率轴上 1M 上下文模型全塞历史不稀释,治理蒸馏的 12% 差距来自两类真实召回缺口(轻偏好/结构化清单)——修复方向明确,已按简报 55 红线如实画出,不预写结论。
源文件 docs/benchmarks/2026-08-18-h1-longitudinal.md · 报告日期 2026-08-19 · 本页生成 2026-09-15。判分脚本不随本站公开。