跳转至

尚无译文的页面会以英语打开,并标注为英语。

此机器翻译生成后,英文原文已更新。请阅读英文页面以获取当前说明。

本页由机器从英文原文翻译,内容以英文原文为准。 Machine-translated from the English page, which is authoritative.

降低编码 agent 的模型成本

借助 Loom 插件和代码索引,Claude Code 在回答有关 ClickHouse 代码库的问题时,在全部三组测量的问题集上,模型成本比不使用时低 6% 到 21%。在 24 道按答案评分的问题上节省了 20%(答案质量 0.84 对 0.78),在 36 道概念性问题上节省了 21%,在 24 道多跳问题上节省了 6%,其中将一个 bug 追踪到发布分支上的修复这类问题,两种方式的成本相同。

测量内容

两组都在同一份检出代码上运行 Claude Code(claude-sonnet-5):一组是普通会话,另一组使用 Loom 插件和 coding 工具集。成本是整个会话的模型费用,不包括 Loom 自身服务端的模型调用、托管和索引。该对比衡量的是插件整体,并未把代码索引与记忆分开。结果只适用于所测试的工作负载。使用 Loom 时,一个问题在时钟时间上耗时更长:插件对每条提示的搜索以及 MCP 往返会增加延迟。如何将单个问题的成本与多次运行之间的噪声进行比较,见结果页面。 有无 Loom 的对比包含每组问题、测试协议和相关产物,评估 Loom介绍了如何在你自己的仓库上进行测量。

关于由模型读取记忆而不是读取完整聊天历史的情况,参见agent 记忆。

插件的节省设计

  • 用索引答案代替文件读取。 code.symbol、code.callers 和 code.search 会返回能回答结构类问题的那几行代码。代码索引
  • 用已保存的上下文代替重新探索。 会话保存的决策和发现会在下一次会话开始时加载。共享记忆

Loom 还会按操作记录它在 embedding 和 LLM 调用上的花费。 成本与用量