尚无译文的页面会以英语打开,并标注为英语。
本页由机器从英文原文翻译,内容以英文原文为准。 Machine-translated from the English page, which is authoritative.
基准测试概览
排序参数、相似度阈值、缓存阈值和提取提示词(prompt)所改变的行为,单元测试无法判断。每一项都由 bench/ 下的测试框架(harness)决定,这些框架通过 HTTP 对运行中的服务器和真实的提供方执行测试。本部分介绍方法论、套件的运行方式及其数据来源、覆盖矩阵、仓库可复现的结果、如何添加用例,以及技能评测。
bench/README.md 列出了所有测试框架。每个脚本的模块文档字符串就是它的手册:包含协议、参数和运行命令。
测试套件衡量什么
测试工具(harness)是独立的脚本:argparse 加一个 HTTP 客户端,没有共享的 fixture,也没有测试运行器。
| 领域 | 问题 | 主要 harness |
|---|---|---|
| 检索召回 | 正确的记忆是否进入了前 K 个结果? | quality.py, retrieval_recall.py, k_curve.py, plane_ablation.py, hard_distractors.py |
| 回答准确率 | 在固定的 reader 和 judge 下,基于检索到的记忆生成的回答是否正确? | longmemeval.py, locomo_qa.py, memoryagentbench.py, membench.py, beam.py, musique.py, msc_dmr.py, … |
| 写入端质量 | 提取是否只写入了对话轮次中所说的内容,且没有多写? | extraction_eval.py, graph_eval.py, memory_integrity.py, supersession_audit.py |
| 时间与修订 | 被取代的事实是否在其时间区间结束后被隐藏,并在区间内保持可见? | fama_forgetting.py, mutation_sequence.py, fact_consolidation.py, pi_llm.py |
| agent 与操作 | agent 是否选对了 op,并让存储保持正确的形态? | op_planning.py, skill_eval.py, op_trajectories.py, procedure_replay.py |
| 成本 | 一次回答或一次会话的成本是多少? | ask_cost_rollup.py, session_ab.py, route_replay.py, ch_cost_by_op.py |
| 安全与隐私 | 删除是否覆盖每一个层级;仅靠提示词的攻击者能否提取或污染记忆? | erasure_compliance.py, memory_extraction_redteam.py, memory_poison.py, sensitivity_leakage.py |
| 代码索引 | 代码索引能否找到定义、调用方和概念性答案,并在其余情况下拒绝作答? | code_intel_qa.py, code_plane_ablation.py, code_shunt_tokens.py, code_ask_cache_threshold/ |
| 文档解析 | 提取器能否读取文档的文本、标题、表格和页面,且不丢失任何内容? | docparse/(离线) |
| 跟踪器 | tracker.similar 能否找到某个 issue 被关闭时所指向的较早的重复项? |
tracker_similar_bench.py |
| 延迟与索引健康 | 搜索时间花在哪里;向量索引返回的结果是否与暴力搜索一致? | search_latency.py, vector_tenant_recall.py, ann_final_staleness.py, vector_index_vs_exact.py, scripts/ops/benchmark.py |
| 写入负载 | 持续的写入速率会带来多少延迟和多少 ClickHouse parts? | write_rate.py |
| 规模 | 随着命名空间、组织和记忆存储键的增长,记忆最先触及哪个上限? | scale_load.py |
| 消费方验收 | 某一类部署能否以可接受的成本得到精确的回答? | acceptance/{code_agent,memory_app,plugin,harness}.py |
bench/memoryarena/(一个对相互依赖任务的后续会话进行评分的 agent 训练场)和 bench/memorydata/(一个让 Loom 与其他方法并行运行的测试平台)是接入了 Loom 的外部 harness。它们的 README 就是各自的运行指南。
如果你是在评估 Loom,而不是修改它的排序代码,请从评估 Loom开始。它把 harness 清单整理成一条简短的决策路径,涵盖产品接入、你自己的记忆工作负载、代码智能以及已发布结果的复现。
入口
| 入口 | 运行内容 | 前提条件 |
|---|---|---|
make bench-quality-gate |
在已提交的合成数据集上运行 quality.py;召回率低于 0.80 时退出码为 1 |
带有真实 embedder 和抽取 LLM 的服务器 |
make bench-algorithm-gate |
在回归测试夹具上运行 extraction_eval.py 和 graph_eval.py |
带有真实抽取 LLM 的服务器 |
make bench-quick |
使用固定的 reader 和 judge,在 30 个打乱顺序的条目上运行 longmemeval.py |
已下载的 LongMemEval 文件、LOOM_API_KEY、OPENAI_API_KEY |
make bench-matrix |
matrix.py:在 LongMemEval 上遍历搜索模式 × 重排 × 候选池宽度 |
同 bench-quick |
make bench-code-intel-dry |
code_intel_qa.py --dry:在完美的合成检索结果上运行评分器 |
无(离线) |
make bench-code-intel |
按上线下限运行 code_intel_qa.py |
带有已索引 ClickHouse 仓库和真实 embedder 的服务器 |
make bench-code-legs |
用 code_intel_qa.py --compare-extra 对三个检索分支做消融,每组配对比较 |
同 bench-code-intel |
make bench-clickgap-replay |
clickgap_code_replay.py:回放 PR 评审机器人的调用序列 |
该使用方 PR 的回放 JSONL 文件 |
make bench-clickgap-golden |
在该使用方的 golden 夹具上运行 clickgap_golden_replay.py |
GOLDEN_DIR,即不在本仓库中的私有夹具 |
make bench |
scripts/ops/benchmark.py:对单个 op 施加并发负载,输出 p50/p95/p99 和 RPS |
一台服务器 |
make test-unit |
同时运行 pytest bench -q:评分核心和数据集读取器 |
无(离线) |
其他所有测试框架都以 python bench/<name>.py 的方式运行(运行)。
bench 与生产调用方的区别
bench 通过 HTTP 调用相同的操作,但有三点不同:
- 评估读取。 计入记忆强化的读取会强化下一轮排序所依据的行,因此 bench 会改变自身的结果。除非运行时传入
--credit,否则测试工具会在memory.search上发送auto_touch: false,在memory.ask上发送reinforce: false。 - 一次性的 bench 命名空间。 每个命名空间都以
traffic_class和kind为bench注册:使用 bench 速率桶(默认为基础上限的一半)、bench 级别的 ClickHouse 优先级、单独的成本账本列,并在运行结束时被清除(bench 命名空间)。 - 固定的测量工具。 reader 模型和 judge 模型按测试工具固定,不随
LOOM_LLM_MODEL变化。可变的是服务器的提取模型、嵌入模型和各项设置。--answerer loom-ask(LongMemEval)或--reader ask(LoCoMo)会对memory.ask本身进行评分。
服务器的默认值就是这些 bench 所选定的值。修改 LOOM_LLM_MODEL 或 LOOM_EMBEDDING_MODEL 的默认值时,应先运行 make bench-quick,而更换嵌入模型则需要重新建立基线。
覆盖范围与未涵盖的内容
- CI 中没有质量信号。 CI 运行的是 fake provider,因此测试的是评分器,而不是检索(原因)。除非有人在真实部署上运行这些检查门槛,否则排序回归可能在无人察觉的情况下被合并。
- 已提交的测量结果很少。 结果列出了每一项已提交的测量,以及它在
bench/results/下的产物、所用的测量工具和复现命令。针对你自己的数据和 provider 的数字,必须在你自己的部署上生成。 - 大多数测试工具需要仓库中没有的数据。 第三方语料库需要下载(数据集);回放、依赖集、tracker 标准答案以及基于 trace 的延迟测量,读取的都是某个部署的私有数据。
- 代码 fixture 特定于某个仓库。 ClickHouse 测试线需要 ClickHouse/ClickHouse 的索引,Langfuse 测试线需要该仓库的索引。它们的数字对其他代码库几乎没有参考意义。
- 没有与具名系统对比的排行榜。 基于公开数据集的测试工具会报告 Loom 的数字,以及将其与已发表表格并列比较所需的列。该仓库只拿 Loom 与它自己的各个构建版本和对照组进行比较。
- 没有硬件记录或容量模型。 没有任何测试工具记录主机信息。
scripts/ops/benchmark.py在一个并发度下测量一个 op;search_latency.py按命名空间大小把一次memory.search拆分为多个阶段。两者都没有对真实的 agent 混合负载或多租户争用建模。 - 技能评测评估的是形态,而不是召回(技能评测)。
通过并不能证明什么
- 通过检查门槛只是一个下限。 构建在某个 embedder 下,对一个小数据集达到了记录的阈值。这并不意味着在你的数据上召回就好。
- 召回不等于答案质量。 一条记忆可能排在第一位,却仍被误读或已经过时。请查看经过评判的维度和失败所在的阶段。
- 答案准确率不等于 agent 的成功率。 大多数测试工具一次只对一个问题评分。只有
code_plane_ablation.py和 agent gym 会测量 agent 利用记忆做了什么。 - 安全基准测量的是已命名的攻击。
memory_poison.py和memory_extraction_redteam.py只报告它们自身攻击形态下的结果。erasure_compliance.py会扫描每个loom.*表中每个 String 类型的列,查找其 canary;外部后端的删除是否彻底,取决于它们自身的删除能力。