Mycel Phase 2 评测报告:记忆有效性(埋雷题库 + 真裸答基线)
- 执行:OMP,2026-08-18。派单:Sun 单1(两单连发之单1)。
- 前置阅读:docs/adr/0049-asset-ledger-as-product-spine.md + docs/design/asset-ledger-spine.md(§5 指标定义)。
- 状态:终版。A 60/60、E 60/60、A2 20/20 全部完成并判分(2026-08-18)。
0. 复现纪律(简报 53 口径)
| 项 | 值/指针 |
|---|---|
| seed | 20260818 |
| 题库生成器 | scripts/phase2-gen-mines.py(seeded,可复现) |
| manifest(20 雷全量) | 由生成器按 seed 确定性重算(实体/参数/梯度/金标/题面 R1+R2,不入库) |
| chunfeng 二进制 | 主线 98f508ef 干净构建(git archive 导出,主树 111 脏文件零混入) |
| chunfeng sha256 | c41b789c111e…(完整值见 runs/*/jsonl session 行) |
| 模型 | zhipu-coding-plan/glm-5.3(全程同模型;token 经 omp 渠道,未用 claude CLI) |
| 测评 vault | 真 vault md 树评测副本 13,026 篇(剔除 5 份实验泄漏文档;雷注入 06-Reference/资产台账试点/) |
| 轨迹 | 每 run 全事件流 jsonl(tool_use/tool_result/usage/final_text)+ driver-log 全程;体积大未入库,评测机存档备查 |
| 判分器 | scripts/phase2-score.py(数字纪律:答案轨=结论窗口含金标数字串;检索轨=金标雷笔记 basename 命中) |
1. 装置
- 臂 A(有记忆):自管 runner(LLM 裸调 zhipu chat API + chunfeng stdio JSON-RPC 手写),工具面仅 chunfeng 23 工具,每 run 独立会话(独立 MCP spawn + 全新 messages)。20 雷 × 3 rep = 60 run。
- 臂 E(失忆裸答):同模型,runner 层不挂任何工具,单轮直问,系统提示为空。60 run。
- 臂 A2(不二过复测):同 A,题面换措辞变体(
question_r2,如「配额是多少?」→「那个配额现在按多少执行?别记混了」),独立新会话。20 run。 - 雷题四梯度(各 5 题):single 单跳直查 / multi 多跳(A 索引页→B 事实页)/ temporal 时序冲突(答案=新值,旧值废止)/ distractor 干扰项(同系列三实体,干扰值挡路)。
- 雷实体=自然中文词+随机后缀(如「晞和协议-88」),参数=随机数值——裸答先验不可猜。
- zhipu 限流应对:chat 5 次指数退避(429/5xx),run 间 20s 节流;零 run 因限流报废。
2. 主结果:悬崖差(有记忆 vs 失忆裸答)
| 轨 | A 臂(记忆) | E 臂(裸答) | 差 |
|---|---|---|---|
| 答案轨 strict(结论窗口=金标,机器) | 54/60 = 90.0% | 1/60 = 1.7%(机器) | +88.3pp |
| 答案轨 strict(人工审计后) | 60/60 = 100% | 0/60 = 0.0% | +100pp |
| 检索轨(金标雷笔记被捞到) | 60/60 = 100% | n/a(无工具) | — |
终版口径:E strict = 0/60(机器 1 命中经审计为假阳——E-D3-n2 模型复述题面「沉璧中枢-46」被引号切断后尾数 6 撞金标,答案本体是"我的知识库中没有该项目的任何信息",已剔除并在轨迹留痕)。
A 臂机器 strict 的 6 个未中经逐条人工审计全部为判分器结论窗口切割误伤(模型在结论段明确陈述金标值:如 T2「当前生效阈值=12 个单位」被窗口截在数字后、D3/D4 表格行加粗金标被切)。双口径并报,轨迹可复核。
跨会话差内生于装置:每 run 独立 MCP spawn + 全新 messages,A 臂的答对全部来自"新会话里靠检索工具找到雷"——不是会话内记忆。
分梯度(A 臂 strict 机器/人工)
| 梯度 | 答对(机器) | 答对(人工) | 检索到 | dur 均值 | in tok 均值 |
|---|---|---|---|---|---|
| single 单跳 | 15/15 | 15/15 | 15/15 | 299s | 20,754 |
| multi 多跳 | 15/15 | 15/15 | 15/15 | 347s | 20,016 |
| temporal 时序 | 12/15 | 15/15 | 15/15 | 276s | 19,770 |
| distractor 干扰 | 12/15 | 15/15 | 15/15 | 538s | 28,062 |
| 合计 | 54/60 | 60/60 | 60/60 | 365s | 22,151 |
- 多跳零失败:索引页→事实页的链路,模型全部走通(检索+get_note 两步)。
- 时序题人工全对:模型全部识别"当前生效=新值",并在答案中显式排除旧值。
- 干扰项耗时最长(538s vs 单跳 299s):同系列三实体需逐一核对——干扰设计真实起效。
3. 不二过率(asset-ledger-spine §5:埋雷复测通过率)
95.0%(机器 strict,19/20)→ 100%(人工审计后,20/20)。
装置:R1 埋下(答对)后,以措辞变体 + 全新独立会话复测(如「配额是多少?」→「那个配额现在按多少执行?别记混了」);判分同 strict 口径;检索轨 20/20(全部重新捞到雷笔记)。
机器 strict 唯一未中(A2-T5)经审计为结论窗口切割误伤:模型答案「当前按 13 次/日 执行」正确且显式标注「15 是旧值,13 才是现在执行的数」——判分器窗口恰好切到证据块(新旧值并列陈述)。
4. 2×2 产品诊断面(A 臂 r1,机器 strict)
| 检索到 | 未检索 | |
|---|---|---|
| 答对 | 54(90%) | 0 |
| 答错 | 6(10%,人工审计为判分误伤,实际 0) | 0 |
右上象限(答对未检索)= 0:零"猜中/污染"——所有答对都有检索轨迹支撑,答对归因干净。 左下象限(检索到未答对)= 6(人工后 0):无"检索够用不好"类失败。
5. 诚实条款
- 雷题对模型的"裸答必错"先验成立:E 臂 60 run 中 0 个真实命中,模型诚实拒答("知识库中没有该项目")而非编造。
- A 臂 in_tok 均值 22k/题(含工具 schema + 检索内容):单题成本 ≈ 订阅制下 $0(API 口径 glm-5.3 牌价折算 ≈$0.011/题,token 明细在轨迹)。
- E 臂单题 11s vs A 臂 365s:记忆臂慢是因为"真的去查了"——失忆臂快是因为直接放弃。时延对比在此题型无意义,不作为指标。
- 本实验测的是"工具化记忆 vs 无工具",不是"chunfeng vs DIY grep"(那是单 2 的对象)。
- 判分含人工复核环节(6+1 条),主观判断已逐条给出轨迹引用,可仲裁。
6. 一等数字(对外叙事用,口径见上)
- 悬崖差:失忆 0% → 有记忆 100%(人工审计口径;机器 strict 口径 1.7% → 90%)——「没有它,你的 AI 每次都是失忆陌生人」的实测版。
- 不二过率:95%(机器)/ 100%(审计)——埋下的坑,隔会话换措辞再问,记忆全部拦住。「这个坑你踩过,今天替你拦了」的实测版。
源文件 docs/benchmarks/2026-08-18-phase2-memory-effectiveness.md · 报告日期 2026-08-18 · 本页生成 2026-09-15。判分脚本不随本站公开。