Las páginas sin traducir se abren en inglés y se indican como inglés.
Esta página es una traducción automática de la página en inglés, que prevalece. Machine-translated from the English page, which is authoritative.
Añadir un caso, un dataset o una suite de benchmark
Los conjuntos incluidos en el repositorio son pequeños (tamaños de los conjuntos), así que añadir un caso nuevo es la forma más barata de mejorar la suite. Lee primero el encabezado o el _comment del archivo: la mayoría explican cómo se construyó su gold y qué debe cumplir una fila nueva.
Agregar un caso a un conjunto existente
QA de memoria (bench/datasets/synthetic_memory_qa.json)
Agrega una pregunta a una conversación, o una conversación:
{
"conversation_id": "06-billing",
"conversation": [{ "role": "user", "content": "Our invoices go out on the 3rd of each month." }],
"questions": [{ "question": "When do invoices go out?", "gold_keys": ["invoice", "3rd"] }]
}
Un acierto es cualquier memory_key o fragmento devuelto que contenga una cadena gold (sin distinguir mayúsculas y con guiones bajos como espacios). Elige palabras gold que una memoria correcta deba contener y que una incorrecta difícilmente contenga. Mantenlo sintético: sin texto de terceros ni personas reales.
Mueve la línea base. El umbral de 0.80 de la compuerta se registró con este archivo. Ejecuta la compuerta en un despliegue real antes y después, y actualiza MIN_RECALL en el Makefile si el valor cambia. Pruebas: tests/unit/test_bench_quality_gate.py, bench/test_quality.py.
Regresiones de extracción y de grafo
- Las filas de
bench/fixtures/extraction_regressions.jsonson{id, messages, expected}: frases que deben aparecer en la clave o el valor de alguna memoria. - Las filas de
graph_regressions.jsonson{id, messages, expected_triples: [{subject, relation, object}], as_of}. - Un campo
_notenombra la clase de fallo; el arnés lo ignora.
tests/unit/test_algorithm_gate_assets.py comprueba que cada fila tenga mensajes y una expectativa no vacía. Ejecuta make bench-algorithm-gate contra un LLM de extracción real para ver pasar el caso.
QA del plano de código (bench/fixtures/code_intel_qa*.jsonl)
Un objeto JSON por línea; las líneas // son comentarios:
{"id": "co037", "type": "conceptual", "query": "where are part merges scheduled", "gold": {"paths": ["src/Storages/MergeTree/MergeTreeBackgroundExecutor"]}}
{"id": "sd011", "type": "symbol_def", "query": "IColumn::insert", "gold": {"qualified_name": "DB::IColumn::insert", "path_prefix": "src/Columns/"}}
{"id": "ab011", "type": "abstain_probe", "query": "kubernetes ingress annotation for sticky sessions", "gold": {}}
El gold de cada tipo está en el docstring de bench/code_intel_qa.py (callers usa expected_callers, hub usa path_prefix y symbols). Las rutas son prefijos sin la extensión. Los campos opcionales lane, facets y namespace enrutan y segmentan la fila.
- Verifica el gold contra un índice en vivo antes de que sirva como compuerta: ejecuta una vez sin umbrales mínimos, lee las discrepancias y corrige el gold.
- Una sonda de abstención debe tratar sobre código que no está en el repositorio.
- Conserva el conjunto de tipos del archivo principal.
bench/test_code_intel_qa.py(test_fixture_loads_and_validates) afirma quecode_intel_qa.jsonltiene al menos 30 filas y exactamente los tipossymbol_def,callers,conceptual,abstain_probe. Las filas de hub, historial y conjunto de pruebas van en sus propios archivos de carril. make bench-code-intel-drydebe seguir pasando: cada carril alcanza su techo con una recuperación sintética perfecta.- Los carriles extraídos se regeneran, no se editan a mano:
code_intel_mine_prs.pyycode_intel_ka_slice.pyescriben el archivo y los conteos de su encabezado.
Lecciones del agente de programación (bench/fixtures/coding_agent_qa.json)
Agrega a lessons (una fila de memoria con clave memory_key) y a questions (question, question_type de la taxonomía, gold_keys, y fix_reuse opcional). Cada clave gold debe nombrar una clave de lección real: de lo contrario falla bench/test_coding_agent_qa.py (test_load_corpus_rejects_dangling_gold_key). --dry debe seguir pasando.
Tareas de planificación de ops (bench/fixtures/op_planning_tasks.jsonl)
Una tarea incluye id, class (instruction_type, structure), prompt, un plan gold (herramienta, argumentos requeridos, argumentos literales) y assertions del almacén. tests/unit/test_op_planning_bench.py (test_every_gold_tool_and_required_arg_exists_on_the_surface) falla cuando una herramienta o un argumento gold ya no existe en la superficie MCP. Una tarea cuya op se retiró pasa a op_planning_tasks_retired.jsonl en lugar de eliminarse.
Tareas de skill-eval
Un brief en bench/skill_eval/tasks/ tiene front matter (task, namespace, agent, traps), nombra un espacio de nombres skill-eval-… en su cuerpo y termina indicando que el espacio de nombres será auditado. El mismo cuerpo es un caso de claude plugin eval en integrations/claude-code-plugin/evals/loom-memory/<task>/prompt.md, idéntico byte a byte después del front matter. tests/unit/test_skill_eval.py comprueba las tres reglas y fija la lista de tareas, así que una tarea nueva también actualiza esa prueba. Consulta evaluación de skills.
Integrar un nuevo dataset
- No lo subas al repositorio. Colócalo en
bench/datasets/o acepta una bandera de ruta. Si se descarga, añade una ruta--fetcho imprime el comando de descarga cuando falte el archivo, como hacelongmemeval.py. - Registra la procedencia en el docstring del harness: origen, nombres de archivo, número de elementos y la licencia que declara el dataset. Añade una fila a conjuntos de datos.
- Conserva las categorías propias del dataset como una columna, y nombra el subconjunto comparable si las tablas publicadas usan uno.
- Los nombres de benchmarks públicos están permitidos en
bench/, pero nunca como motivo de una decisión en la prosa bajoserver/(tests/unit/test_public_copy.pyBENCHMARK_NAMES). - Crea espacios de nombres temporales con un prefijo de
LOOM_NAMESPACE_BENCH_PREFIXES(server/settings/catalog.py; los harnesses nuevos usanbench-), de modo queloom namespaces-gcy el GC de espacios de nombres encuentren lo que deja una ejecución abortada.
Escribir un nuevo harness
Todo harness sigue esta estructura:
| Regla | Cómo |
|---|---|
| Script independiente | argparse, --base-url, --token (por defecto LOOM_API_KEY), --out; se ejecuta como PYTHONPATH=$PWD python bench/<name>.py y como módulo |
| Política HTTP compartida | Enviar con bench/_http.py (post_json / apost_json): token Bearer, esperas ante 429, reintentos acotados ante 5xx, errores que incluyen el cuerpo de la respuesta |
| El docstring es el manual | Qué mide, qué no mide, el dataset, el costo y un comando de ejecución |
| Núcleo de puntuación puro | Funciones de puntuación por encima de la ruta en vivo, importables sin un servidor, con una prueba unitaria (bench/test_<name>.py o tests/unit/test_bench_<name>.py) |
Un modo --dry o de autoprueba |
Ejercita el evaluador con entrada sintética, sin servidor y sin gasto |
| Lecturas de evaluación | Combinar primero measurement_fields("memory.search") / ("memory.ask") de bench/_gate.py en los cuerpos; ofrecer --credit |
| Espacios de nombres desechables y registrados | register_bench_namespace + remember_bench_namespace antes de la primera escritura, el trabajo dentro de erase_on_exit y una opción --keep-namespaces (bench/bench_namespaces.py) |
| Alcance fijo | Enviar namespace_scope: "this" en las lecturas |
| ¿Con juez? Usar la compuerta compartida | add_gate_arguments(parser) para --repeats, --gate*, --credit, --judge-calibration; gate_from_args para el veredicto; fijar los modelos lector y juez y avisar cuando se sobrescriban. tests/unit/test_bench_gate_help_renders.py muestra por qué un % suelto en el texto de ayuda rompe --help |
| Registrar el instrumento | Embedder, LLM, proveedor y build_commit de /v1/health junto a los números (véase run_metadata en quality.py) |
| Informar los fallos aparte de los aciertos perdidos | Contar e imprimir los errores de solicitud; no puntuarlos como fallos de recuperación |
| Comparaciones pareadas | Deltas por elemento mediante paired_bootstrap con una clave de clúster; publicar según el límite inferior |
Después:
- agrega una viñeta en la sección correspondiente de
bench/README.mdy, si responde una pregunta frecuente, una fila en su tabla "When to run what"; - agrega un target de Makefile solo para una compuerta que alguien ejecute de forma rutinaria, con sus umbrales como variables sobrescribibles;
- ejecuta
make format(ruff formateabench/),pytest bench -qy el lint de textos:
.venv/bin/python -m pytest tests/unit/test_public_copy.py tests/unit/test_bench_namespaces.py -q
El lint de textos analiza bench/: no debe haber nombres de producto, personas, hosts internos ni espacios de nombres, citas de artículos ni referencias a registros de decisiones en el código, los comentarios o los fixtures.
Relacionado
- Metodología: qué calculan el gate y el bootstrap.
- Ejecución: comandos y salidas.
- Pruebas: las suites de pruebas unitarias y de integración.