번역되지 않은 페이지는 영어로 열리며 영어로 표시됩니다.
이 페이지는 영어 원문을 기계 번역한 것이며, 영어 원문이 기준입니다. Machine-translated from the English page, which is authoritative.
벤치마크 범위
이 매트릭스는 Loom의 메모리, 지식, 코드 흐름 중 어느 부분에 재현 가능한 공개 측정이 있는지 보여 줍니다. 측정된 동작, 실행 가능한 하네스, 그리고 아직 공개된 품질 근거가 없는 제품 기능을 구분합니다.
상태
| 상태 | 의미 |
|---|---|
| 게시됨 | 커밋된 결과 아티팩트, 모델 기록, 프로토콜, 제한 사항, 재현 명령이 존재합니다. |
| 부분 게시 | 공개된 결과가 평가 질문의 일부를 측정하지만, 전체 흐름이나 대표적인 규모를 다루지는 않습니다. |
| 하니스만 있음 | 실행 가능한 프로토콜은 있지만, 공개 성능 주장을 뒷받침하는 커밋된 실제 프로바이더 측정이 없습니다. |
| 공개 측정 없음 | 저장소에 이 질문에 대한 완전한 공개 프로토콜과 아티팩트가 없습니다. 제품 문서는 있을 수 있습니다. |
단위 테스트, 드라이 런, 가짜 프로바이더 게이트는 공개된 품질 결과로 인정하지 않습니다. 결과 원장은 공개된 수치의 출처이고, 하니스 목록은 실행 가능한 프로토콜의 출처입니다.
전체 흐름 매트릭스
| 영역 | 평가 질문 | 필요한 측정 항목 | 상태 | 공개된 근거 또는 다음에 필요한 결과 |
|---|---|---|---|---|
| 메모리 구축 | 추출이 뒷받침되는 사실을 기록하고 근거 없는 주장을 피하는가? | 근거 커버리지, 추출 정밀도, 허위 메모리 비율, 토큰 및 구축 시간 | 하니스만 있음 | 공개 대화 세트에서 memory_integrity.py와 extraction_eval.py를 실행하고, 추출된 모든 사실과 판정 결과를 커밋한다. |
| 메모리 검색 | 올바른 메모리가 상위에 랭크되는가? | recall@k, rank@1, MRR, 방해 항목 유입 | 공개됨 | 결과 원장의 LongMemEval-S, LoCoMo, MuSiQue, MemoryAgentBench 산출물. |
| 메모리 답변 | 최종 답변이 검색된 근거를 올바르게 사용하는가? | 답변 정확도, 인용 정확성, 범주별 실패 | 공개됨 | LongMemEval-S, LoCoMo, MemBench, MemoryAgentBench, PerLTQA. |
| 알 수 없는 질문 | Loom이 약한 근거로 답하지 않고 답변을 보류하는가? | 보류 정밀도/재현율, 오답 비율, 답변 가능 질문 재현율 | 부분적 | LoCoMo 적대적 질문과 열 개의 코드 보류 탐침이 공개되어 있으며, 더 큰 규모의 보정된 메모리 보류 세트가 여전히 필요하다. |
| 정정과 시간 | 현재 값이 오래된 사실을 대체하면서도 과거 시점 질의가 올바르게 유지되는가? | 현재 값 정확도, 오래된 답변 비율, 시간 정확도, 대체 정밀도 | 하니스만 있음 | pi_llm.py, forget_switch_eval.py, fama_forgetting.py, supersession_audit.py를 하나의 공유 공개 코퍼스에서 실행해 공개한다. |
| 도구 간 연속성 | 한 클라이언트가 기록한 사실이 이후 세션에서 다른 클라이언트에 도움이 되는가? | 클라이언트 간 재현율, 출처, 캡처 손실, 지연 시간 | 하니스만 있음 | cross_tool_validate.py에는 질의 여섯 개가 있다. 원본 캡처와 함께 더 큰 Claude Code, Codex, Cursor 매트릭스를 공개한다. |
| 메모리 효율 | 검색이 컨텍스트, 모델 비용, 턴을 절약하는가? | 작업 성공률, 프롬프트/출력 토큰, 모델 비용, 구축 손익분기 | 공개됨 | 짝지은 LongMemEval 전체 이력 결과는 리더 토큰 91% 감소와 구축 손익분기를 보고한다. |
| 지식 검색 | 문서 RAG가 올바른 구절을 찾아 인용하는가? | 청크 recall@k, 답변 정확도, 인용 정밀도, 보류, 지연 시간, 토큰 | 부분적 | 설계 결정의 arm 2는 문서 다섯 개로 이루어진 비공개 세트에서 단일 판정자로 loom_search 지식 히트에 대한 답변 정확도(정답 대비 A, D 정밀도 및 재현율), 인용 정밀도와 재현율, 보류, 주입된 토큰을 측정한다. 청크 recall@k, 지연 시간, 공개 세트(고정 리더를 쓰는 narrativeqa.py, 어려운 답변 불가 및 인용 사례)는 여전히 필요하다. |
| 소스 형식 | 어떤 입력이 동등한 검색 가능 텍스트에 도달하는가? | 형식별 추출 성공률, 텍스트/표 충실도, OCR 품질, 실패율 | 부분적 | 문서 파싱은 커밋된 코퍼스에서 PDF, DOCX, PPTX의 텍스트, 표, 위치 정보 충실도, OCR 품질, 조용한 손실을 레이아웃 모델 기준선과 비교해 측정한다. CSV, XLSX, Parquet, HTML 및 기타 텍스트 형식과 라이선스가 확보된 실제 코퍼스는 여전히 필요하다. |
| 코드 개념 검색 | 이슈 형태의 텍스트가 구현을 찾아내는가? | 파일 hit@k, 전체 정답 hit@k, MRR, 보류, 토큰, 지연 시간 | 공개됨 | ClickHouse 개념 질문과 SWE-bench Verified 200개 인스턴스 파일 위치 특정 샘플. 이는 검색이며 공식 패치 및 테스트 점수가 아니다. |
| 코드 구조 | 정의와 호출자가 완전한가? | 정의 exact@1, 호출자 정밀도/재현율/F1, 완전성 레이블 | 공개됨 | ClickHouse에 대한 정의 질문 열 개와 호출자 질문 네 개. 호출자 세트는 근소한 비교를 하기에는 너무 작다. |
| 코드 언어 이식성 | 품질이 언어와 저장소 형태를 넘어 유지되는가? | 언어 및 저장소별 동일한 검색 및 구조 지표 | 하니스만 있음 | 언어 표에 파서 티어가 문서화되어 있으며, make bench-code-portability-dry는 채점만 확인한다. 공개 픽스처를 실제 인덱스에 대해 실행한다. |
| 코드 에이전트 결과 | 에이전트가 파일을 찾는 데 그치지 않고 작업을 완료하는가? | 해결률, 통과한 테스트, 패치 품질, 턴, 토큰, 비용, 시간 | 부분적 | 짝지은 ClickHouse 실행은 에이전트의 답변을 검증된 기준(설명, 영향, 이력)에 대해 채점하고 비용, 턴, 시간을 보고하며, 편집이나 테스트는 하지 않는다. 누수가 통제된 패치 및 테스트 벤치마크는 여전히 필요하다. |
| 설계 결정 | 설계 문서에서 제공된 결정이 에이전트가 기각된 옵션을 다시 제안하지 않게 하는가, 그리고 "왜" 및 기능에 관한 답변이 올바르고 인용되며 최신인가? | 기각된 옵션 회피, 제약 충족, 논거 및 기능 사실 정밀도/재현율, 인용 정밀도/재현율, 오래된 진술과 실패한 보류, 주입된 토큰, 추출 정밀도 | 부분적 | 문서 다섯 개로 이루어진 비공개 세트와 단일 판정 모델에 대한 설계 결정. 사람 레이블 대비 판정자 정확도와 추출 정밀도는 여전히 필요하다. |
| 인덱스 구축 | 콜드 인덱스에는 비용이 얼마나 드는가? | 저장소 크기별 소요 시간, 임베딩/모델 토큰, ClickHouse 저장소, 워커 최대 리소스 | 부분적 | SWE-bench 실행은 11번의 백필과 188번의 델타에 대해 임베딩 토큰 137.5 million개와 약 10.6시간을 보고하지만, 크기 곡선이나 하드웨어 기록은 없다. |
| 인덱스 최신성 | 커밋이 얼마나 빨리 검색 가능해지며 답변은 언제 오래된 상태가 되는가? | 커밋에서 질의까지의 지연 시간, 델타 비용, 오래된 답변 비율, 중단 후 복구 | 하니스만 있음 | 단계별 지연 시간 및 최신성 하니스가 있다. 저장소 크기 및 하드웨어와 함께 콜드, 증분, 복구 실행을 공개한다. |
| 검색 용량 | 행, 리포지터리, 테넌트, 동시성이 늘어나면 어떻게 되는가? | 혼합 워크로드에서의 p50/p95/p99, 처리량, ClickHouse 읽기량, CPU 및 메모리 | 부분 공개 | 단일 서버 지연 시간은 공개되어 있으며, 대규모 환경의 메모리에는 공유 호스트 한 대에서의 하드웨어, 멀티 테넌트 구성(10,000개 네임스페이스에 대한 Zipf 분포), 메모리의 한계 지점이 기록되어 있습니다. 클라우드 실행 결과, 규모별 용량 곡선, 대표적인 혼합 에이전트 부하 결과는 없습니다. |
| 캐시 정확성 | 반복되는 질문이 잘못된 답변을 재사용하지 않으면서 합성을 건너뛰는가? | 선택한 임계값에서의 적중률, 절감된 지연 시간/토큰, 잘못된 공유 비율 | 공개됨 | 임계값 스윕과 30일 프로덕션 집계 결과가 공개되어 있습니다. 반복 질문은 관찰된 호출의 3%였습니다. |
| 트래커 품질 | 중복 탐지가 허용 가능한 오탐률로 이전 이슈를 찾아내는가? | 양성 적중률, 판정 정밀도, 음성 오탐률, 지연 시간 | 공개됨 | ClickHouse 공개 중복 이슈 104건과 음성 사례 100건을 사용했습니다. 다른 형태의 트래커는 아직 포함되지 않았습니다. |
| 안전성과 개인정보 보호 | 일반적인 사용이나 악의적인 사용으로 삭제된 데이터가 유출, 오염 또는 잔존할 수 있는가? | 추출률, 오염 성공률, 정상 요청 오탐, 유출 및 잔존 데이터 | 하네스만 있음 | 레드팀, 민감도, 오염, 삭제 하네스는 있지만, 공개 안전성 수치를 뒷받침하는 실제 제공자 기반 결과는 커밋되어 있지 않습니다. |
| 신뢰성 | 중단된 쓰기, 인덱싱, 삭제 작업이 손실 없이 재개되는가? | 장애 주입 후의 복구 성공률, 중복 작업, 사용 불가 시간, 잔존 데이터 | 공개 측정 없음 | 단위 테스트와 통합 테스트가 각 메커니즘을 다루지만, 워크로드 수준의 장애 주입 결과는 공개되어 있지 않습니다. |
| 총 운영 비용 | 모델, ClickHouse, 인덱스 구축 비용을 지출한 뒤 Loom의 비용은 얼마인가? | 구축 및 쿼리 모델 비용, ClickHouse 컴퓨트/스토리지, 워커 리소스, 손익분기점 | 부분 공개 | 모델 토큰과 일부 쌍으로 비교한 비용은 공개되어 있으며, 대규모 환경의 메모리는 정가 기준으로 메모리 100만 개당 ClickHouse 스토리지 비용과 호출 100만 건당 CPU 비용을 산정합니다. Postgres, 머지, 유휴 용량은 총 비용 곡선에 포함되어 있지 않습니다. |
README에 포함할 내용
README에는 평가 결과가 측정하는 대상별로 묶은 여러 공개 벤치마크가 실려 있습니다. 이 매트릭스에서 Published로 표시되고, 표본이 해석하기에 충분히 크며, 결과가 일반화되지 않는 부분을 한 문장으로 분명히 설명할 수 있을 때만 해당 행을 README에 넣을 수 있습니다.
Harness only 또는 No public measurement 행은 README의 성능 주장으로 옮기지 마세요. 대신 이 매트릭스로 연결하세요. 하니스는 Loom을 측정할 수 있음을 보여 줄 뿐, Loom의 성능이 좋다는 것을 증명하지는 않습니다.
게시 백로그
아래 각 항목은 위 매트릭스의 평가 질문에 대응합니다.
- 쓰기 무결성과 정정: 하나의 공개 대화 코퍼스에서 추출 정밀도, 거짓 메모리 비율, 대체(supersession) 및 오래된 답변 비율을 측정합니다.
- 지식 RAG: 텍스트 문서에 대한 검색, 답변, 인용 품질을 측정하고, 이어서 PDF, CSV, 구조화된 텍스트를 위한 라이선스 형식 충실도 코퍼스를 다룹니다.
- 엔드투엔드 코드 에이전트 성과: 누출을 통제한 패치 생성과 테스트 성공률을, Loom을 사용하지 않은 동일한 에이전트와 짝지어 비교합니다.
- 라이브 코드 이식성: 기존 다국어(polyglot), SQL/셸, OSS 픽스처 전반에서 실제 provider로 측정합니다.
- 인덱스 비용과 최신성: 저장소 크기별 콜드 및 증분 곡선을 측정하고, 하드웨어, ClickHouse 스토리지, 워커 리소스를 기록합니다.
- 용량과 안정성: 테넌트 전반의 메모리/코드 혼합 워크로드를 측정하고, 이어서 워커, ClickHouse, 네트워크 장애 주입을 수행합니다.
- 안전성과 프라이버시: 명명된 공격 결과는 별도로 게시하며, 일반적인 안전성 점수 하나로 합치지 않습니다.
새로운 결과는 모두 결과 추가하기를 따릅니다. 원본 아티팩트를 커밋하고, 사용한 모든 모델과 서버 빌드를 기록하고, 데이터셋 라이선스를 명시하고, 정확한 명령을 포함하고, 실패와 부정적인 발견을 보고하고, 불확실성 또는 질문 하나의 변동 크기를 추가합니다.