コンテンツにスキップ

未翻訳のページは英語で開き、英語と表示されます。

このページは英語の原文の機械翻訳です。内容は英語の原文が優先されます。 Machine-translated from the English page, which is authoritative.

ベンチマークのカバレッジ

このマトリクスは、Loom のメモリ、ナレッジ、コードの各フローのうち、どの部分に再現可能な公開測定があるかを示します。測定済みの動作、実行可能なハーネス、そして公開された品質の根拠がまだない製品機能を区別しています。

ステータス

ステータス 意味
公開済み コミット済みの結果アーティファクト、モデルレコード、プロトコル、制限事項、再現コマンドが存在する。
一部公開 公開されている結果は評価対象の問いの一部を測定しているが、フロー全体や代表的な規模は測定していない。
ハーネスのみ 実行可能なプロトコルは存在するが、公開する性能の主張を裏付ける、コミット済みの実プロバイダーでの測定結果はない。
公開された測定なし この問いに対する完全な公開プロトコルとアーティファクトがリポジトリにない。製品ドキュメントは存在する場合がある。

ユニットテスト、ドライラン、フェイクプロバイダーのゲートは、公開された品質結果とは見なされません。公開された数値の出典は結果台帳であり、実行可能なプロトコルの出典はハーネス一覧です。

フルフローマトリクス

対象 評価の問い 必要な指標 ステータス 公開済みの根拠、または次に必要な結果
メモリ構築 抽出は裏付けのある事実を書き込み、裏付けのない主張を避けているか。 エビデンスカバレッジ、抽出精度、誤メモリ率、トークンと構築時間 ハーネスのみ 公開の会話セットに対して memory_integrity.py と extraction_eval.py を実行し、抽出した事実と判定結果をすべてコミットする。
メモリ検索 正しいメモリが上位にランクされるか。 recall@k、rank@1、MRR、妨害情報の混入 公開済み 結果台帳にある LongMemEval-S、LoCoMo、MuSiQue、MemoryAgentBench の成果物。
メモリ回答 最終回答は、検索されたエビデンスを正しく使っているか。 回答精度、引用の正確さ、カテゴリ別の失敗 公開済み LongMemEval-S、LoCoMo、MemBench、MemoryAgentBench、PerLTQA。
未知の質問 弱いエビデンスから回答せず、Loom は回答を控えるか。 回答控えの適合率・再現率、誤回答率、回答可能な質問の再現率 一部 LoCoMo の敵対的質問と 10 件のコード回答控えプローブを公開済み。より大規模で較正された、メモリ向けの回答控えセットが引き続き必要。
訂正と時間 現在(新しい)の値が古い事実を置き換え、過去に関するクエリは正しいままか。 現在値の精度、古い回答の率、時間に関する精度、置き換えの適合率 ハーネスのみ pi_llm.py、forget_switch_eval.py、fama_forgetting.py、supersession_audit.py を、共通の 1 つの公開コーパスで公開する。
ツール間の継続性 あるクライアントが書き込んだ事実は、後のセッションで別のクライアントの役に立つか。 クライアント間の再現率、来歴、キャプチャ損失、レイテンシ ハーネスのみ cross_tool_validate.py のクエリは 6 件。生のキャプチャを添えて、より大規模な Claude Code、Codex、Cursor のマトリクスを公開する。
メモリ効率 検索はコンテキスト、モデル費用、ターン数を節約するか。 タスク成功率、プロンプト/出力トークン、モデルコスト、構築の損益分岐点 公開済み 対比較の LongMemEval 全履歴の結果は、リーダーのトークンが 91% 少ないことと、構築の損益分岐点を報告している。
ナレッジ検索 ドキュメント RAG は正しい箇所を見つけて引用するか。 チャンク recall@k、回答精度、引用の適合率、回答控え、レイテンシ、トークン 一部 設計判断のアーム 2 は、5 件のドキュメントからなる非公開セットで、1 つのジャッジにより、loom_search のナレッジヒットに対する回答精度(正解に対する A と D の適合率・再現率)、引用の適合率・再現率、回答控え、注入トークンを測定している。チャンク recall@k、レイテンシ、公開セット(固定リーダーを用い、回答不能な難問と引用の難ケースを含む narrativeqa.py)が引き続き必要。
ソース形式 どの入力が同等の検索可能なテキストに到達するか。 抽出の成功率、テキスト/表の忠実度、OCR 品質、形式別の失敗率 一部 ドキュメント解析は、コミット済みのコーパスで、レイアウトモデルのベースラインと比較しながら、PDF、DOCX、PPTX のテキスト、表、ロケーターの忠実度、OCR 品質、サイレントな欠落を測定している。CSV、XLSX、Parquet、HTML などのテキスト形式と、ライセンスされた実世界のコーパスが引き続き必要。
コードの概念検索 issue 形式のテキストから実装が見つかるか。 ファイル hit@k、全正解 hit@k、MRR、回答控え、トークン、レイテンシ 公開済み ClickHouse の概念的な質問と、SWE-bench Verified の 200 インスタンスのファイル特定サンプル。これは検索であり、公式のパッチとテストのスコアではない。
コード構造 定義と呼び出し元は網羅されているか。 定義 exact@1、呼び出し元の適合率/再現率/F1、網羅性ラベル 公開済み ClickHouse に対する定義 10 問と呼び出し元 4 問。呼び出し元のセットは小さすぎて、僅差の比較には使えない。
コード言語間の移植性 品質は言語やリポジトリの形をまたいで転移するか。 言語・リポジトリごとの同じ検索指標と構造指標 ハーネスのみ 言語表にパーサーのティアを記載している。make bench-code-portability-dry はスコアリングのみを確認する。公開フィクスチャを稼働中のインデックスに対して実行する。
コードエージェントの成果 エージェントはファイルを見つけるだけでなく、タスクを完了するか。 解決率、テスト通過、パッチ品質、ターン数、トークン、コスト、時間 一部 ClickHouse での対比較の実行は、エージェントの回答を検証済みの参照(explain、impact、history)に照らして採点し、コスト、ターン数、時間を報告する。編集もテストもしない。リークを制御したパッチとテストのベンチマークが引き続き必要。
設計判断 設計ドキュメントから提供される判断は、エージェントが却下済みの選択肢を再提案するのを防ぎ、その「なぜ」と機能に関する回答は正しく、引用され、最新か。 却下済み選択肢の回避、制約の充足、論拠と機能事実の適合率・再現率、引用の適合率・再現率、古い記述と回答控えの失敗、注入トークン、抽出精度 一部 5 件のドキュメントからなる非公開セットと 1 つのジャッジモデルによる設計判断。人手ラベルに対するジャッジ精度と抽出精度が引き続き必要。
インデックス構築 コールドインデックスのコストはどれくらいか。 リポジトリサイズ別の、実行時間、埋め込み/モデルトークン、ClickHouse のストレージ、ワーカーのピークリソース 一部 SWE-bench の実行は、11 回のバックフィルと 188 回のデルタで、埋め込みトークン 137.5 million と約 10.6 時間を報告しているが、サイズ別の曲線もハードウェアの記録もない。
インデックスの鮮度 コミットはどれくらい速く検索可能になり、回答はいつ古くなるか。 コミットからクエリまでのレイテンシ、デルタのコスト、古い回答の率、中断後の復旧 ハーネスのみ ステージ別レイテンシと古さのハーネスはある。リポジトリサイズとハードウェアを添えて、コールド、増分、修復の実行を公開する。
検索容量 行数、リポジトリ数、テナント数、同時実行数が増えると何が起きるか。 混合ワークロード下での p50/p95/p99、スループット、ClickHouse の読み取り量、CPU とメモリ 一部公開 単一サーバーのレイテンシは公開済み。メモリのスケール特性には、ハードウェア、マルチテナント構成(10,000 の名前空間にわたる Zipf 分布)、メモリの上限がどこにあるかが、共有ホスト 1 台で記録されている。クラウドでの実行、サイズ別の容量カーブ、代表的な混合エージェント負荷の結果はない。
キャッシュの正確性 繰り返しの質問で、誤った回答を再利用せずに合成を省けるか。 選択したしきい値でのヒット率、節約されたレイテンシ/トークン、誤共有率 公開済み しきい値スイープと 30 日間の本番集計は公開されている。繰り返しは観測された呼び出しの 3% だった。
トラッカーの品質 重複検出は、許容できる偽陽性率で古い issue を見つけられるか。 陽性ヒット率、判定の精度、陰性の偽陽性率、レイテンシ 公開済み ClickHouse の公開重複 104 件と陰性 100 件。他のトラッカー形態はまだ対象に含まれていない。
安全性とプライバシー 通常の利用や敵対的な利用で、消去済みデータが漏えい、汚染、または残存することはあるか。 抽出率、汚染の成功率、正常な入力の誤検知、漏えい、残存 ハーネスのみ レッドチーム、機微性、汚染、消去のハーネスは存在するが、公開の安全性指標を裏付ける、実プロバイダーでのコミット済みの結果はない。
信頼性 中断された書き込み、インデックス作成、消去は、損失なく再開できるか。 障害注入後の復旧成功率、重複作業、利用不能時間、残存 公開された測定なし 単体テストと統合テストで仕組みは検証しているが、ワークロード単位の障害注入の結果は公開されていない。
総運用コスト モデル、ClickHouse、インデックス構築の費用を含めると、Loom のコストはいくらか。 構築とクエリのモデル費用、ClickHouse のコンピュートとストレージ、ワーカーのリソース、損益分岐点 一部公開 モデルのトークンと一部の対比コストは公開済み。メモリのスケール特性では、100 万メモリあたりの ClickHouse ストレージと 100 万回の呼び出しあたりの CPU を、定価で見積もっている。Postgres、マージ、アイドル時の容量は総コストのカーブに含まれていない。

README に掲載する内容

README には、評価対象の結果の種類ごとにまとめた複数の公開ベンチマークを掲載します。行を README に載せられるのは、このマトリクスで 公開済み となっており、サンプル数が結果を解釈できるほど十分にあり、その結果がどこまで一般化できないかを一文で明確に述べられる場合に限ります。

ハーネスのみ や 公開測定なし の行は、README の性能に関する主張に移さないでください。代わりにこのマトリクスへリンクしてください。ハーネスが示すのは、Loom を測定できるということだけであり、Loom の性能が高いことを示すものではありません。

公開予定の項目

以下の各項目は、上記のマトリクスにある評価上の問いに答えるものです。

  • 書き込みの整合性と訂正: 公開されている1つの会話コーパスにおける、抽出の精度、誤ったメモリの発生率、置き換え(supersession)の発生率、古い回答の発生率。
  • ナレッジ RAG: テキストドキュメントにおける検索、回答、引用の品質。続いて、PDF、CSV、構造化テキストを対象に、ライセンスが明確な形式忠実度コーパスを用いた評価を行います。
  • コードエージェントのエンドツーエンドの成果: リークを抑制したパッチ生成とテスト成功率。Loom を使わない同じエージェントとの対比で測定します。
  • 実環境でのコードの移植性: 既存の多言語、SQL/シェル、OSS のフィクスチャを対象にした、実プロバイダでの測定。
  • インデックスのコストと鮮度: リポジトリのサイズ別のコールドおよびインクリメンタルの曲線。ハードウェア、ClickHouse のストレージ、ワーカーのリソースも記録します。
  • 容量と信頼性: 複数のテナントにまたがるメモリとコードの混在ワークロード。続いて、ワーカー、ClickHouse、ネットワークの障害注入を行います。
  • 安全性とプライバシー: 名前付きの攻撃に対する結果は個別に公開します。汎用的な安全性スコアにまとめることはしません。

新しい結果はいずれも、結果の追加に従います。raw アーティファクトをコミットし、使用したすべてのモデルとサーバーのビルドを記録し、データセットのライセンスを明記し、実行したコマンドをそのまま含め、失敗や否定的な結果も報告し、不確かさ、または1問の変動が結果に与える大きさを添えます。

関連ドキュメント

  • Loom の評価:製品テストまたはワークロードテストを選びます。
  • 方法論:2 つの数値を比較できる条件と、その偏りが生じる箇所を説明します。
  • 実行:プロバイダー、データセット、コマンドを説明します。
  • 結果:コミット済みのファイルから再現できる測定結果です。