尚无译文的页面会以英语打开,并标注为英语。
本页由机器从英文原文翻译,内容以英文原文为准。 Machine-translated from the English page, which is authoritative.
技能评估
技能评估通过 agent 留下的命名空间来评估 loom-memory skill。该 skill 规定了各类内容的存放位置:一条结论是在可读的键下执行一次纯文本的 memory.set,文档放入知识库并附一行简短的指针记录,带有标识的事物表使用 records,租约放入工作记忆,修订则改写同一个键。评估会运行一项任务,用 namespace.audit 对命名空间评分,并将任何严重(critical)发现视为失败。
组成部分
| 组成部分 | 位置 | 说明 |
|---|---|---|
| 任务简报 | bench/skill_eval/tasks/*.md |
三份容易诱发反模式的简报:一份告警调查,包含长日志、代码片段、表格、租约和需要保留的大型模型(sre_alert_investigation);一批带结构化字段的 PR(pr_review_batch);一份修订了两次的笔记(research_note_revisions)。每份简报都会指明自己的命名空间,并说明将接受审计。 |
| 运行器 | bench/skill_eval.py |
运行任务(--runner claude-code、codex、manual、replay),然后执行 namespace.audit(一小时窗口,5 个样本),再执行形态计数器,最后写出结果 JSON。 |
| 录制的 agent | bench/skill_eval/replays/{bad,good}_agent.jsonl |
{op, body} 流。bad agent 会对值进行双重编码、使用哈希键,并轮询存储为记忆的租约;good agent 则遵循调查 agent 记忆指南。 |
| 插件评测套件 | integrations/claude-code-plugin/evals/loom-memory/ |
与上述简报相同,作为 claude plugin eval 用例,依据工具调用轨迹,针对模拟的 Loom 服务器(evals/mocks/loom/)进行评分。 |
| 单元测试 | tests/unit/test_skill_eval.py |
让两份回放通过运行器,对接一个伪造的 Loom,其审计使用处理程序自身的分类器:bad 会以预期的错误码失败,good 则通过。同时固定任务列表和评测提示词的正文。 |
每份简报的 front matter 都包含 task、namespace、agent 和 traps(它所诱发的反模式)。运行器会替换回放流中的 $ORG、$NAMESPACE 和 $AGENT,因此一份录制内容可以在任意组织中运行。
评分
pass 表示审计返回 0 个 critical 发现,且 最多 1 个 warning(MAX_WARNINGS_TO_PASS)。报告会列出每项发现的数量、占已检查行数的比例、字节数以及写入端的修复建议,随后是从行本身读取的形态计数器,因此评级并不只取决于审计:
| 计数器 | 含义 |
|---|---|
rows |
有效的记忆行 |
readable_key_share |
最后一段不是长十六进制串、且不含 sha 长度片段的键(即审计的 hash_keys 规则) |
plain_text_value_share |
值为字符串且不是序列化 JSON 的行 |
documents |
知识文档(knowledge.list) |
records |
类型化记录(按每个已注册的 schema 执行 memory.record.query) |
working_memory_blocks |
工作记忆块(working_memory.render) |
形态读取在审计之后执行,因此不会被计为 agent 的读取。令牌无法读取的计数器会列在 shape.skipped 下,而不是报告为 0。
运行
回放(不调用模型)
任何 Loom 都可以,本地部署即可。
export LOOM_BASE_URL=http://localhost:7777 LOOM_API_KEY=<writer token> LOOM_ORG=<org>
.venv/bin/python bench/skill_eval.py --task sre_alert_investigation --runner replay \
--replay bench/skill_eval/replays/bad_agent.jsonl # exits 1: FAIL
.venv/bin/python bench/skill_eval.py --task sre_alert_investigation --runner replay \
--replay bench/skill_eval/replays/good_agent.jsonl --baseline # exits 0: PASS
每次运行请使用新的命名空间(--namespace skill-eval-sre-$(date +%s))。审计窗口为一小时,因此复用命名空间会把上一次运行的读取记录也计入评分。
离线时,同样的检查可作为单元测试运行,无需服务器:
.venv/bin/python -m pytest tests/unit/test_skill_eval.py -q
加载 skill 的实时 agent
.venv/bin/python bench/skill_eval.py --task sre_alert_investigation --runner claude-code --baseline
这会消耗模型 token。它在仓库根目录下运行:
claude -p --plugin-dir integrations/claude-code-plugin \
--mcp-config <generated file: loom at $LOOM_BASE_URL/mcp?toolset=all, Bearer $LOOM_API_KEY> \
--strict-mcp-config --allowedTools "mcp__loom__*" "Skill" "Read" \
--permission-mode bypassPermissions --output-format json --max-turns 60 \
"<the task body>"
--plugin-dir从当前检出的代码加载 skill,因此本次运行衡量的是工作树中的 skill 文本。toolset=all会列出memory_schema.register和memory.record.write,默认的core列表不包含这两个。即使在all下也不会列出knowledge.upsert(core 和 atomic 清单都不包含它),agent 通过loom_op调用它。- 生成的 MCP 配置包含令牌,创建时权限为
0600,运行结束后删除。 --max-turns(默认 60)限制运行的轮数。
--runner codex 使用相同的服务器配置运行 codex exec;已安装 Codex 插件时,由插件提供 skill。
其他任意 agent
--runner manual 会打印任务说明。你可以针对其中指定的命名空间运行任意 agent,然后对它留下的内容评分:
.venv/bin/python bench/skill_eval.py --task pr_review_batch --runner manual
.venv/bin/python bench/skill_eval.py --task pr_review_batch --runner manual --audit-only
同样的 --audit-only 也可以对 claude plugin eval 使用真实服务器运行后写入的命名空间评分。
与基线对比
修改 skill 后再次运行并对比:
.venv/bin/python bench/skill_eval.py --task sre_alert_investigation --runner claude-code \
--compare bench/out/skill_eval_sre_alert_investigation_baseline.json
差异表中每个发现代码(finding code)占一行(严重程度和数量,修改前后各一列),每个形态计数器也占一行。实时 agent 的行为并非确定性的,因此评估 skill 的修改应通过多次运行来对比,而不是只运行一次。
输出
每次运行都会写入 bench/out/skill_eval_<task>_<runner>_<ts>.json(可用 --out-dir 更改位置)。--baseline 还会写入 bench/out/skill_eval_<task>_baseline.json,这是 --compare 读取的参照文件。bench/out/ 已被 gitignore 忽略。
插件评测套件
claude plugin eval integrations/claude-code-plugin --trust-plugin --no-publish \
--case 'loom-memory/*' --runs 3 --threshold 1.0 --json evals-result.json
该评测根据工具调用轨迹离线给每次运行打分:Loom MCP server 是一个返回固定回复的 mock(evals/mocks/loom/),因此不会写入任何数据。评分器只使用文档中记载的评分器类型:
- 对记忆写入使用
max: 0的tool_used,当写入的输入包含哈希键、JSON 字符串套 JSON 的值、大小超过约 2 KB 的值、租约键或锁键,或带版本号的修订键时即判定失败:这些形态在namespace.audit中被评为 critical 或 warning; - 匹配
loom-memory的tool_used: Skill,即插件已触发的指示标志; - 对工作记忆和按条目声明(claim)设置正数下限。
不使用 llm 评分器:对文字内容按评分细则进行阅读评判不能作为准入门槛。用例可以按名称通配符过滤(--case sre_alert_investigation)。--ablation with-without 是插件可解析时的默认选项,它会报告同一提示在没有插件的情况下触发相同评分器的频率。
该框架没有脚本评分器,因此命名空间级别的评分需要另一条命令。使用 --mocks off --allow-real-servers --allow-tools "mcp__plugin_loom_loom__*",并在 LOOM_API_KEY 中提供具有写入权限的令牌,agent 会向该用例的命名空间写入数据,再由 bench/skill_eval.py --task <case> --runner manual --audit-only 对其评分。
解读失败
每条发现的补救方法都是写入端的修复。loom-optimize skill 会把同样的代码对应到对已有行的重新整理(优化命名空间)。
| 发现 | 未被遵守的规则 |
|---|---|
double_encoded_values |
值只发送一次,切勿对字符串执行两次 json.dumps。 |
hash_keys |
键应为可读的 <scope>/<kind>/<id>,而不是哈希。 |
coordination_as_memory |
租约和锁应放在工作记忆中。 |
exact_key_store |
把指针保存在工作记忆中,而不是按键轮询。 |
oversized_values, json_prefix_excerpts |
文档应放入知识库,并附一行简短的指针行。 |
在 SRE 任务中,如果一次运行通过了审计但 documents: 0,说明大模型被放在了搜索无法触及的地方。请阅读 shape 行,而不要只看结论。
添加任务
新的 brief 需要包含 front matter,在正文中指明一个 skill-eval-… 命名空间,并以说明该命名空间将被审计的结束语收尾;还需要一个正文逐字节一致的对应插件评测用例,并更新 tests/unit/test_skill_eval.py 所固定的任务列表。参见添加用例。
本文不衡量的内容
召回质量。agent 写入的声明能否回答下周的问题,是召回基准测试的任务(概述);本文评估的是那些会导致无法召回的形态。
相关内容
- 调查类 agent 记忆:良好回放所遵循的方案。
- 优化命名空间:重新处理审计标记的行。
- Claude Code 插件和 Codex。
integrations/claude-code-plugin/evals/README.md。