> Source: https://clickhouse.github.io/loom/ko/benchmarks/coverage/ (Markdown: https://clickhouse.github.io/loom/ko/benchmarks/coverage.md)

<!-- i18n: source=docs/benchmarks/coverage.md blob=9fcb841d4e8d303e5db5edafbe9a2beeb448ef11 model=claude-sonnet-5-5 -->
> 이 페이지는 [영어 원문](https://clickhouse.github.io/loom/benchmarks/coverage/)을 기계 번역한 것이며, 영어 원문이 기준입니다.
> Machine-translated from the [English page](https://clickhouse.github.io/loom/benchmarks/coverage/), which is authoritative.

<a id="benchmark-coverage"></a>

# 벤치마크 범위

이 매트릭스는 Loom의 메모리, 지식, 코드 흐름 중 어느 부분에 재현 가능한 공개 측정이 있는지 보여 줍니다. 측정된 동작, 실행 가능한 하네스, 그리고 아직 공개된 품질 근거가 없는 제품 기능을 구분합니다.

<a id="status"></a>

## 상태

| 상태                | 의미                                                                                           |
| ------------------- | ---------------------------------------------------------------------------------------------- |
| **게시됨**          | 커밋된 결과 아티팩트, 모델 기록, 프로토콜, 제한 사항, 재현 명령이 존재합니다.                  |
| **부분 게시**       | 공개된 결과가 평가 질문의 일부를 측정하지만, 전체 흐름이나 대표적인 규모를 다루지는 않습니다.   |
| **하니스만 있음**   | 실행 가능한 프로토콜은 있지만, 공개 성능 주장을 뒷받침하는 커밋된 실제 프로바이더 측정이 없습니다. |
| **공개 측정 없음**  | 저장소에 이 질문에 대한 완전한 공개 프로토콜과 아티팩트가 없습니다. 제품 문서는 있을 수 있습니다. |

단위 테스트, 드라이 런, 가짜 프로바이더 게이트는 공개된 품질 결과로 인정하지 않습니다.
[결과 원장](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/results.md)은 공개된 수치의 출처이고, [하니스 목록](https://github.com/ClickHouse/loom/blob/main/bench/README.md)은 실행 가능한 프로토콜의 출처입니다.

<a id="full-flow-matrix"></a>

## 전체 흐름 매트릭스

| 영역                      | 평가 질문                                                                                                                                                   | 필요한 측정 항목                                                                                                                                                                                          | 상태                      | 공개된 근거 또는 다음에 필요한 결과                                                                                                                                                                                                                                                                                                                                                                                                               |
| ------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| 메모리 구축               | 추출이 뒷받침되는 사실을 기록하고 근거 없는 주장을 피하는가?                                                                                                | 근거 커버리지, 추출 정밀도, 허위 메모리 비율, 토큰 및 구축 시간                                                                                                                                           | **하니스만 있음**         | 공개 대화 세트에서 `memory_integrity.py`와 `extraction_eval.py`를 실행하고, 추출된 모든 사실과 판정 결과를 커밋한다.                                                                                                                                                                                                                                                                                                                               |
| 메모리 검색               | 올바른 메모리가 상위에 랭크되는가?                                                                                                                          | recall@k, rank@1, MRR, 방해 항목 유입                                                                                                                                                             | **공개됨**                | [결과 원장](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/results.md)의 LongMemEval-S, LoCoMo, MuSiQue, MemoryAgentBench 산출물.                                                                                                                                                                                                                                                                                                  |
| 메모리 답변               | 최종 답변이 검색된 근거를 올바르게 사용하는가?                                                                                                              | 답변 정확도, 인용 정확성, 범주별 실패                                                                                                                                                                     | **공개됨**                | LongMemEval-S, LoCoMo, MemBench, MemoryAgentBench, PerLTQA.                                                                                                                                                                                                                                                                                                                                                                                       |
| 알 수 없는 질문           | Loom이 약한 근거로 답하지 않고 답변을 보류하는가?                                                                                                           | 보류 정밀도/재현율, 오답 비율, 답변 가능 질문 재현율                                                                                                                                                      | **부분적**                | LoCoMo 적대적 질문과 열 개의 코드 보류 탐침이 공개되어 있으며, 더 큰 규모의 보정된 메모리 보류 세트가 여전히 필요하다.                                                                                                                                                                                                                                                                                                                             |
| 정정과 시간               | 현재 값이 오래된 사실을 대체하면서도 과거 시점 질의가 올바르게 유지되는가?                                                                                  | 현재 값 정확도, 오래된 답변 비율, 시간 정확도, 대체 정밀도                                                                                                                                                | **하니스만 있음**         | `pi_llm.py`, `forget_switch_eval.py`, `fama_forgetting.py`, `supersession_audit.py`를 하나의 공유 공개 코퍼스에서 실행해 공개한다.                                                                                                                                                                                                                                                                                                                |
| 도구 간 연속성            | 한 클라이언트가 기록한 사실이 이후 세션에서 다른 클라이언트에 도움이 되는가?                                                                                | 클라이언트 간 재현율, 출처, 캡처 손실, 지연 시간                                                                                                                                                          | **하니스만 있음**         | `cross_tool_validate.py`에는 질의 여섯 개가 있다. 원본 캡처와 함께 더 큰 Claude Code, Codex, Cursor 매트릭스를 공개한다.                                                                                                                                                                                                                                                                                                                           |
| 메모리 효율               | 검색이 컨텍스트, 모델 비용, 턴을 절약하는가?                                                                                                                | 작업 성공률, 프롬프트/출력 토큰, 모델 비용, 구축 손익분기                                                                                                                                                 | **공개됨**                | 짝지은 LongMemEval 전체 이력 결과는 리더 토큰 91% 감소와 구축 손익분기를 보고한다.                                                                                                                                                                                                                                                                                                                                                                |
| 지식 검색                 | 문서 RAG가 올바른 구절을 찾아 인용하는가?                                                                                                                   | 청크 recall@k, 답변 정확도, 인용 정밀도, 보류, 지연 시간, 토큰                                                                                                                                            | **부분적**                | [설계 결정](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/results.md#design-decisions-from-design-documents)의 arm 2는 문서 다섯 개로 이루어진 비공개 세트에서 단일 판정자로 `loom_search` 지식 히트에 대한 답변 정확도(정답 대비 A, D 정밀도 및 재현율), 인용 정밀도와 재현율, 보류, 주입된 토큰을 측정한다. 청크 recall@k, 지연 시간, 공개 세트(고정 리더를 쓰는 `narrativeqa.py`, 어려운 답변 불가 및 인용 사례)는 여전히 필요하다. |
| 소스 형식                 | 어떤 입력이 동등한 검색 가능 텍스트에 도달하는가?                                                                                                           | 형식별 추출 성공률, 텍스트/표 충실도, OCR 품질, 실패율                                                                                                                                                | **부분적**                | [문서 파싱](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/results.md#document-parsing)은 커밋된 코퍼스에서 PDF, DOCX, PPTX의 텍스트, 표, 위치 정보 충실도, OCR 품질, 조용한 손실을 레이아웃 모델 기준선과 비교해 측정한다. CSV, XLSX, Parquet, HTML 및 기타 텍스트 형식과 라이선스가 확보된 실제 코퍼스는 여전히 필요하다.                                                                                                      |
| 코드 개념 검색            | 이슈 형태의 텍스트가 구현을 찾아내는가?                                                                                                                     | 파일 hit@k, 전체 정답 hit@k, MRR, 보류, 토큰, 지연 시간                                                                                                                                                  | **공개됨**                | ClickHouse 개념 질문과 SWE-bench Verified 200개 인스턴스 파일 위치 특정 샘플. 이는 검색이며 공식 패치 및 테스트 점수가 아니다.                                                                                                                                                                                                                                                                                                                     |
| 코드 구조                 | 정의와 호출자가 완전한가?                                                                                                                                   | 정의 exact@1, 호출자 정밀도/재현율/F1, 완전성 레이블                                                                                                                                                      | **공개됨**                | ClickHouse에 대한 정의 질문 열 개와 호출자 질문 네 개. 호출자 세트는 근소한 비교를 하기에는 너무 작다.                                                                                                                                                                                                                                                                                                                                            |
| 코드 언어 이식성          | 품질이 언어와 저장소 형태를 넘어 유지되는가?                                                                                                                | 언어 및 저장소별 동일한 검색 및 구조 지표                                                                                                                                                                 | **하니스만 있음**         | [언어 표](https://github.com/ClickHouse/loom/blob/main/docs/features/code-index/overview.md#language-support)에 파서 티어가 문서화되어 있으며, `make bench-code-portability-dry`는 채점만 확인한다. 공개 픽스처를 실제 인덱스에 대해 실행한다.                                                                                                                                                                                                    |
| 코드 에이전트 결과        | 에이전트가 파일을 찾는 데 그치지 않고 작업을 완료하는가?                                                                                                    | 해결률, 통과한 테스트, 패치 품질, 턴, 토큰, 비용, 시간                                                                                                                                                | **부분적**                | 짝지은 ClickHouse 실행은 에이전트의 답변을 검증된 기준(설명, 영향, 이력)에 대해 채점하고 비용, 턴, 시간을 보고하며, 편집이나 테스트는 하지 않는다. 누수가 통제된 패치 및 테스트 벤치마크는 여전히 필요하다.                                                                                                                                                                                                                                       |
| 설계 결정                 | 설계 문서에서 제공된 결정이 에이전트가 기각된 옵션을 다시 제안하지 않게 하는가, 그리고 "왜" 및 기능에 관한 답변이 올바르고 인용되며 최신인가?               | 기각된 옵션 회피, 제약 충족, 논거 및 기능 사실 정밀도/재현율, 인용 정밀도/재현율, 오래된 진술과 실패한 보류, 주입된 토큰, 추출 정밀도                                                              | **부분적**                | 문서 다섯 개로 이루어진 비공개 세트와 단일 판정 모델에 대한 [설계 결정](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/results.md#design-decisions-from-design-documents). 사람 레이블 대비 판정자 정확도와 추출 정밀도는 여전히 필요하다.                                                                                                                                                                                             |
| 인덱스 구축               | 콜드 인덱스에는 비용이 얼마나 드는가?                                                                                                                       | 저장소 크기별 소요 시간, 임베딩/모델 토큰, ClickHouse 저장소, 워커 최대 리소스                                                                                                                         | **부분적**                | SWE-bench 실행은 11번의 백필과 188번의 델타에 대해 임베딩 토큰 137.5 million개와 약 10.6시간을 보고하지만, 크기 곡선이나 하드웨어 기록은 없다.                                                                                                                                                                                                                                                                                                     |
| 인덱스 최신성             | 커밋이 얼마나 빨리 검색 가능해지며 답변은 언제 오래된 상태가 되는가?                                                                                        | 커밋에서 질의까지의 지연 시간, 델타 비용, 오래된 답변 비율, 중단 후 복구                                                                                                                                  | **하니스만 있음**         | 단계별 지연 시간 및 최신성 하니스가 있다. 저장소 크기 및 하드웨어와 함께 콜드, 증분, 복구 실행을 공개한다.                                                                                                                                                                                                                                                                                                                                         |
| 검색 용량                 | 행, 리포지터리, 테넌트, 동시성이 늘어나면 어떻게 되는가?                                                                                                  | 혼합 워크로드에서의 p50/p95/p99, 처리량, ClickHouse 읽기량, CPU 및 메모리                                                                                                                                  | **부분 공개**             | 단일 서버 지연 시간은 공개되어 있으며, [대규모 환경의 메모리](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/results.md#memory-at-scale)에는 공유 호스트 한 대에서의 하드웨어, 멀티 테넌트 구성(10,000개 네임스페이스에 대한 Zipf 분포), 메모리의 한계 지점이 기록되어 있습니다. 클라우드 실행 결과, 규모별 용량 곡선, 대표적인 혼합 에이전트 부하 결과는 없습니다.                                                                                                                                      |
| 캐시 정확성               | 반복되는 질문이 잘못된 답변을 재사용하지 않으면서 합성을 건너뛰는가?                                                                                            | 선택한 임계값에서의 적중률, 절감된 지연 시간/토큰, 잘못된 공유 비율                                                                                                                                               | **공개됨**                | 임계값 스윕과 30일 프로덕션 집계 결과가 공개되어 있습니다. 반복 질문은 관찰된 호출의 3%였습니다.                                                                                                                                                                                                                                                                                                                                                |
| 트래커 품질               | 중복 탐지가 허용 가능한 오탐률로 이전 이슈를 찾아내는가?                                                                                                  | 양성 적중률, 판정 정밀도, 음성 오탐률, 지연 시간                                                                                                                                                        | **공개됨**                | ClickHouse 공개 중복 이슈 104건과 음성 사례 100건을 사용했습니다. 다른 형태의 트래커는 아직 포함되지 않았습니다.                                                                                                                                                                                                                                                                                                                                                |
| 안전성과 개인정보 보호    | 일반적인 사용이나 악의적인 사용으로 삭제된 데이터가 유출, 오염 또는 잔존할 수 있는가?                                                                   | 추출률, 오염 성공률, 정상 요청 오탐, 유출 및 잔존 데이터                                                                                                                                              | **하네스만 있음**         | 레드팀, 민감도, 오염, 삭제 하네스는 있지만, 공개 안전성 수치를 뒷받침하는 실제 제공자 기반 결과는 커밋되어 있지 않습니다.                                                                                                                                                                                                                                                                                                                       |
| 신뢰성                    | 중단된 쓰기, 인덱싱, 삭제 작업이 손실 없이 재개되는가?                                                                                                | 장애 주입 후의 복구 성공률, 중복 작업, 사용 불가 시간, 잔존 데이터                                                                                                                                      | **공개 측정 없음**        | 단위 테스트와 통합 테스트가 각 메커니즘을 다루지만, 워크로드 수준의 장애 주입 결과는 공개되어 있지 않습니다.                                                                                                                                                                                                                                                                                                                                        |
| 총 운영 비용              | 모델, ClickHouse, 인덱스 구축 비용을 지출한 뒤 Loom의 비용은 얼마인가?                                                                                    | 구축 및 쿼리 모델 비용, ClickHouse 컴퓨트/스토리지, 워커 리소스, 손익분기점                                                                                                                           | **부분 공개**             | 모델 토큰과 일부 쌍으로 비교한 비용은 공개되어 있으며, [대규모 환경의 메모리](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/results.md#memory-at-scale)는 정가 기준으로 메모리 100만 개당 ClickHouse 스토리지 비용과 호출 100만 건당 CPU 비용을 산정합니다. Postgres, 머지, 유휴 용량은 총 비용 곡선에 포함되어 있지 않습니다.                                                                                                                                                                                 |

<a id="what-belongs-in-the-readme"></a>

## README에 포함할 내용

README에는 평가 결과가 측정하는 대상별로 묶은 여러 공개 벤치마크가 실려 있습니다.
이 매트릭스에서 **Published**로 표시되고, 표본이 해석하기에 충분히 크며, 결과가 일반화되지 않는 부분을 한 문장으로 분명히 설명할 수 있을 때만 해당 행을 README에 넣을 수 있습니다.

**Harness only** 또는 **No public measurement** 행은 README의 성능 주장으로 옮기지 마세요. 대신 이 매트릭스로 연결하세요. 하니스는 Loom을 측정할 수 있음을 보여 줄 뿐, Loom의 성능이 좋다는 것을 증명하지는 않습니다.

<a id="publication-backlog"></a>

## 게시 백로그

아래 각 항목은 위 매트릭스의 평가 질문에 대응합니다.

- **쓰기 무결성과 정정:** 하나의 공개 대화 코퍼스에서 추출 정밀도, 거짓 메모리 비율, 대체(supersession) 및 오래된 답변 비율을 측정합니다.
- **지식 RAG:** 텍스트 문서에 대한 검색, 답변, 인용 품질을 측정하고, 이어서 PDF, CSV, 구조화된 텍스트를 위한 라이선스 형식 충실도 코퍼스를 다룹니다.
- **엔드투엔드 코드 에이전트 성과:** 누출을 통제한 패치 생성과 테스트 성공률을, Loom을 사용하지 않은 동일한 에이전트와 짝지어 비교합니다.
- **라이브 코드 이식성:** 기존 다국어(polyglot), SQL/셸, OSS 픽스처 전반에서 실제 provider로 측정합니다.
- **인덱스 비용과 최신성:** 저장소 크기별 콜드 및 증분 곡선을 측정하고, 하드웨어, ClickHouse 스토리지, 워커 리소스를 기록합니다.
- **용량과 안정성:** 테넌트 전반의 메모리/코드 혼합 워크로드를 측정하고, 이어서 워커, ClickHouse, 네트워크 장애 주입을 수행합니다.
- **안전성과 프라이버시:** 명명된 공격 결과는 별도로 게시하며, 일반적인 안전성 점수 하나로 합치지 않습니다.

새로운 결과는 모두 [결과 추가하기](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/results.md#adding-a-result)를 따릅니다. 원본 아티팩트를 커밋하고, 사용한 모든 모델과 서버 빌드를 기록하고, 데이터셋 라이선스를 명시하고, 정확한 명령을 포함하고, 실패와 부정적인 발견을 보고하고, 불확실성 또는 질문 하나의 변동 크기를 추가합니다.

<a id="related"></a>

## 관련 문서

- [Loom 평가하기](https://github.com/ClickHouse/loom/blob/main/docs/getting-started/evaluate.md): 제품 테스트 또는 워크로드 테스트를 선택합니다.
- [방법론](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/methodology.md): 두 수치를 비교할 수 있는 경우와 편향이 생기는 지점을 설명합니다.
- [실행](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/running.md): 프로바이더, 데이터셋, 명령어를 다룹니다.
- [결과](https://github.com/ClickHouse/loom/blob/main/docs/benchmarks/results.md): 커밋된 파일로 재현할 수 있는 측정 결과입니다.
