Las páginas sin traducir se abren en inglés y se indican como inglés.
Esta página es una traducción automática de la página en inglés, que prevalece. Machine-translated from the English page, which is authoritative.
Cobertura de benchmarks
Esta matriz muestra qué partes de los flujos de memoria, conocimiento y código de Loom tienen una medición pública reproducible. Distingue el comportamiento medido de un harness ejecutable y de una capacidad del producto que todavía no tiene evidencia pública de calidad.
Estado
| Estado | Significado |
|---|---|
| Publicado | Existen un artefacto de resultados confirmado, un registro del modelo, un protocolo, las limitaciones y un comando de reproducción. |
| Parcial | Un resultado público mide parte de la pregunta de evaluación, pero no el flujo completo ni una escala representativa. |
| Solo harness | Existe un protocolo ejecutable, pero ninguna medición confirmada con un proveedor real respalda una afirmación pública de rendimiento. |
| Sin medición pública | El repositorio no tiene un protocolo ni un artefacto públicos completos para esta pregunta. Puede existir documentación del producto. |
Una prueba unitaria, una ejecución en seco (dry run) o una verificación con un proveedor simulado nunca cuenta como un resultado de calidad publicado. El registro de resultados es la fuente de los números publicados; el inventario de harnesses es la fuente de los protocolos ejecutables.
Matriz de flujo completo
| Superficie | Pregunta de evaluación | Medidas requeridas | Estado | Evidencia pública o siguiente resultado requerido |
|---|---|---|---|---|
| Construcción de memoria | ¿La extracción escribe hechos respaldados y evita afirmaciones sin respaldo? | cobertura de evidencia, precisión de extracción, tasa de memorias falsas, tokens y tiempo de construcción | Solo harness | Ejecutar memory_integrity.py y extraction_eval.py sobre un conjunto público de conversaciones; confirmar en el repositorio cada hecho extraído y cada veredicto del juez. |
| Recuperación de memoria | ¿La memoria correcta queda cerca de los primeros puestos? | recall@k, rank@1, MRR e intrusión de distractores | Publicado | Artefactos de LongMemEval-S, LoCoMo, MuSiQue y MemoryAgentBench en el registro de resultados. |
| Respuestas de memoria | ¿La respuesta final usa correctamente la evidencia recuperada? | precisión de respuesta, corrección de citas y fallos por categoría | Publicado | LongMemEval-S, LoCoMo, MemBench, MemoryAgentBench y PerLTQA. |
| Preguntas desconocidas | ¿Loom se abstiene en lugar de responder con evidencia débil? | precisión/recall de abstención, tasa de respuestas falsas y recall de preguntas respondibles | Parcial | Se publican las preguntas adversariales de LoCoMo y diez sondas de abstención de código; todavía se requiere un conjunto más grande y calibrado de abstención de memoria. |
| Correcciones y tiempo | ¿El valor actual reemplaza a los hechos obsoletos mientras las consultas históricas siguen siendo correctas? | precisión del valor actual, tasa de respuestas obsoletas, precisión temporal y precisión de sustitución | Solo harness | Publicar pi_llm.py, forget_switch_eval.py, fama_forgetting.py y supersession_audit.py sobre un mismo corpus público. |
| Continuidad entre herramientas | ¿Un hecho escrito por un cliente ayuda a otro cliente en una sesión posterior? | recall entre clientes, procedencia, pérdida de captura y latencia | Solo harness | cross_tool_validate.py tiene seis consultas; publicar una matriz más grande de Claude Code, Codex y Cursor con capturas sin procesar. |
| Eficiencia de la memoria | ¿La recuperación ahorra contexto, gasto de modelo y turnos? | éxito de la tarea, tokens de prompt/salida, costo del modelo y punto de equilibrio de la construcción | Publicado | El resultado pareado de LongMemEval con historial completo reporta 91% menos tokens del lector y su punto de equilibrio de construcción. |
| Recuperación de conocimiento | ¿El RAG de documentos encuentra y cita el pasaje correcto? | recall@k de fragmentos, precisión de respuesta, precisión de citas, abstención, latencia y tokens | Parcial | El brazo 2 de Decisiones de diseño mide la precisión de respuesta sobre los resultados de conocimiento de loom_search (precisión y recall de A y D frente al oro), la precisión y el recall de citas, la abstención y los tokens inyectados, sobre un conjunto privado de cinco documentos con un solo juez; todavía se requieren recall@k de fragmentos, latencia y un conjunto público (narrativeqa.py con un lector fijo, casos difíciles sin respuesta y casos de citas). |
| Formatos de origen | ¿Qué entradas llegan a un texto buscable equivalente? | éxito de extracción, fidelidad de texto y tablas, calidad de OCR y tasa de fallos por formato | Parcial | Análisis de documentos mide la fidelidad de texto, tablas y ubicadores, la calidad de OCR y la pérdida silenciosa en PDF, DOCX y PPTX sobre un corpus confirmado en el repositorio, frente a una línea base con modelo de diseño; todavía se requieren CSV, XLSX, Parquet, HTML y los demás formatos de texto, y un corpus real con licencia. |
| Búsqueda conceptual de código | ¿El texto con forma de issue encuentra la implementación? | file hit@k, all-gold hit@k, MRR, abstención, tokens y latencia | Publicado | Preguntas conceptuales de ClickHouse y una muestra de 200 instancias de SWE-bench Verified para localización de archivos; esto es recuperación, no la puntuación oficial de parche y pruebas. |
| Estructura del código | ¿Las definiciones y los llamadores están completos? | definition exact@1, precisión/recall/F1 de llamadores y etiqueta de completitud | Publicado | Diez preguntas de definición y cuatro de llamadores en ClickHouse. El conjunto de llamadores es demasiado pequeño para comparaciones ajustadas. |
| Portabilidad entre lenguajes | ¿La calidad se mantiene entre lenguajes y formas de repositorio? | las mismas métricas de recuperación y estructura por lenguaje y repositorio | Solo harness | La tabla de lenguajes documenta los niveles del parser; make bench-code-portability-dry solo comprueba la puntuación. Ejecutar los fixtures públicos contra índices en vivo. |
| Resultado del agente de código | ¿El agente completa la tarea, y no solo encuentra un archivo? | tasa de resolución, pruebas superadas, calidad del parche, turnos, tokens, costo y tiempo | Parcial | Las ejecuciones pareadas en ClickHouse califican la respuesta del agente frente a una referencia verificada (explicar, impacto, historial) y reportan costo, turnos y tiempo; no editan ni ejecutan pruebas. Todavía se requiere un benchmark de parche y pruebas con control de fugas. |
| Decisiones de diseño | ¿Las decisiones servidas desde documentos de diseño evitan que un agente vuelva a proponer opciones rechazadas, y sus respuestas sobre el «por qué» y las funcionalidades son correctas, citadas y actuales? | evitación de opciones rechazadas, cumplimiento de restricciones, precisión/recall de argumentos y de hechos de funcionalidades, precisión/recall de citas, afirmaciones obsoletas y abstenciones fallidas, tokens inyectados, precisión de extracción | Parcial | Decisiones de diseño sobre un conjunto privado de cinco documentos, con un solo modelo juez; todavía se requieren la precisión del juez frente a etiquetas humanas y la precisión de extracción. |
| Construcción del índice | ¿Cuánto cuesta un índice en frío? | tiempo de reloj, tokens de embedding/modelo, almacenamiento de ClickHouse y recursos pico del worker según el tamaño del repositorio | Parcial | La ejecución de SWE-bench reporta 137.5 millones de tokens de embedding y unas 10.6 horas para 11 backfills más 188 deltas, pero sin curva de tamaño ni registro del hardware. |
| Frescura del índice | ¿Con qué rapidez un commit se vuelve buscable y cuándo las respuestas están obsoletas? | latencia de commit a consulta, costo del delta, tasa de respuestas obsoletas y recuperación tras una interrupción | Solo harness | Existen harnesses de latencia por etapa y de obsolescencia; publicar ejecuciones en frío, incrementales y de reparación con el tamaño del repositorio y el hardware. |
| Capacidad de búsqueda | ¿Qué ocurre al crecer las filas, los repositorios, los tenants y la concurrencia? | p50/p95/p99, throughput, volumen de lectura de ClickHouse, CPU y memoria bajo una carga mixta | Parcial | Se publica la latencia de un solo servidor, y memoria a escala registra el hardware, una forma multi-tenant (Zipf sobre 10,000 espacios de nombres) y dónde están los techos de la memoria, en un único host compartido. No hay una ejecución en la nube, una curva de capacidad entre tamaños ni una carga representativa de agentes mixtos. |
| Corrección de la caché | ¿Las preguntas repetidas evitan la síntesis sin reutilizar la respuesta equivocada? | tasa de aciertos, latencia/tokens ahorrados y tasa de compartición falsa en el umbral elegido | Publicado | El barrido de umbrales y el agregado de producción de 30 días son públicos. Las repeticiones fueron el 3% de las llamadas observadas. |
| Calidad del tracker | ¿La detección de duplicados encuentra el issue más antiguo con una tasa aceptable de falsos positivos? | tasa de aciertos positivos, precisión del veredicto, tasa de falsos positivos negativos y latencia | Publicado | 104 duplicados públicos de ClickHouse y 100 negativos. Otras formas de tracker todavía no están representadas. |
| Seguridad y privacidad | ¿El uso normal o adversarial puede filtrar, envenenar o retener datos borrados? | tasa de extracción, éxito de envenenamiento, falsos positivos benignos, fugas y residuos | Solo harness | Existen harnesses de red-team, sensibilidad, envenenamiento y borrado; ningún resultado confirmado con un proveedor real respalda una tasa pública de seguridad. |
| Fiabilidad | ¿Una escritura, indexación o borrado interrumpidos se reanuda sin pérdidas? | éxito de recuperación, trabajo duplicado, tiempo no disponible y residuos tras la inyección de fallos | Sin medición pública | Las pruebas unitarias y de integración cubren los mecanismos, pero no hay un resultado público de inyección de fallos a nivel de carga de trabajo. |
| Costo operativo total | ¿Cuánto cuesta Loom tras el gasto en modelos, ClickHouse y construcción del índice? | gasto de modelo en construcción y consulta, cómputo/almacenamiento de ClickHouse, recursos del worker y punto de equilibrio | Parcial | Se publican los tokens de modelo y algunos costos pareados, y memoria a escala fija el precio del almacenamiento de ClickHouse por millón de memorias y de la CPU por millón de llamadas, a precios de lista; Postgres, los merges y la capacidad ociosa no están en una curva de costo total. |
Qué debe incluirse en el README
El README incluye varios benchmarks públicos, agrupados por el resultado de evaluación que miden. Una fila solo pertenece ahí cuando esta matriz indica Published, la muestra es lo bastante grande para interpretarse y el resultado tiene una frase clara sobre dónde no se generaliza.
No traslades las filas Harness only ni No public measurement a las afirmaciones de rendimiento del README. En su lugar, enlaza a esta matriz. Un harness demuestra que Loom puede medirse; no demuestra que Loom tenga buen rendimiento.
Backlog de publicación
Cada elemento siguiente responde a preguntas de evaluación de la matriz anterior:
- Integridad de escritura y correcciones: precisión de extracción, tasa de memorias falsas, sustitución y tasa de respuestas obsoletas en un corpus conversacional público.
- Knowledge RAG: calidad de recuperación, de respuesta y de citas en documentos de texto, seguida de un corpus con licencia para medir la fidelidad de formato en PDF, CSV y texto estructurado.
- Resultado de extremo a extremo del agente de código: generación de parches sin fugas y éxito en las pruebas, comparado con el mismo agente sin Loom.
- Portabilidad de código en vivo: mediciones con proveedores reales sobre los fixtures existentes de varios lenguajes, SQL/shell y OSS.
- Economía y frescura del índice: curvas en frío e incrementales según el tamaño del repositorio, registrando el hardware, el almacenamiento de ClickHouse y los recursos del worker.
- Capacidad y fiabilidad: una carga de trabajo mixta de memoria y código entre tenants, seguida de inyección de fallos en el worker, en ClickHouse y en la red.
- Seguridad y privacidad: publicar por separado los resultados de ataques con nombre; nunca combinarlos en una puntuación general de seguridad.
Cada resultado nuevo sigue Añadir un resultado: confirmar el artefacto sin procesar, registrar cada modelo y la compilación del servidor, indicar la licencia del conjunto de datos, incluir el comando exacto, informar de los fallos y de los hallazgos negativos, y añadir la incertidumbre o el tamaño del cambio por una sola pregunta.
Relacionado
- Evaluar Loom: elige una prueba de producto o de carga de trabajo.
- Metodología: cuándo dos números son comparables y dónde presentan sesgos.
- Ejecución: proveedores, conjuntos de datos y comandos.
- Resultados: mediciones reproducibles a partir de archivos confirmados en el repositorio.