콘텐츠로 이동

번역되지 않은 페이지는 영어로 열리며 영어로 표시됩니다.

이 페이지는 영어 원문을 기계 번역한 것이며, 영어 원문이 기준입니다. Machine-translated from the English page, which is authoritative.

벤치마크 개요

랭킹 레버, 유사도 게이트, 캐시 임계값, 추출 프롬프트는 단위 테스트로 판단할 수 없는 동작을 바꿉니다. 이러한 항목은 각각 bench/ 아래의 하니스가 결정하며, 하니스는 실제 프로바이더를 사용해 실행 중인 서버에 HTTP로 접속하여 동작합니다. 이 섹션에서는 방법론, 스위트를 실행하는 방법과 데이터의 출처, 커버리지 매트릭스, 저장소에서 재현하는 결과, 케이스를 추가하는 방법, 그리고 스킬 평가를 다룹니다.

bench/README.md에는 모든 하니스가 나열되어 있습니다. 각 스크립트의 모듈 docstring이 곧 해당 스크립트의 매뉴얼이며, 프로토콜, 플래그, 실행 명령이 담겨 있습니다.

스위트가 측정하는 것

하니스는 독립 실행형 스크립트입니다. argparse와 HTTP 클라이언트로 구성되며, 공유 픽스처나 테스트 러너는 없습니다.

영역 질문 주요 하니스
검색 재현율 올바른 메모리가 상위 K개 안에 들어왔는가? quality.py, retrieval_recall.py, k_curve.py, plane_ablation.py, hard_distractors.py
답변 정확도 고정된 리더와 심사자 아래에서, 검색된 메모리로 만든 답변이 올바른가? longmemeval.py, locomo_qa.py, memoryagentbench.py, membench.py, beam.py, musique.py, msc_dmr.py, …
쓰기 측 품질 추출 단계가 턴에 담긴 내용을, 그리고 그 내용만 기록했는가? extraction_eval.py, graph_eval.py, memory_integrity.py, supersession_audit.py
시간과 개정 대체된 사실이 구간이 끝난 뒤에는 숨겨지고 구간 안에서는 보이는가? fama_forgetting.py, mutation_sequence.py, fact_consolidation.py, pi_llm.py
에이전트와 연산 에이전트가 올바른 op를 골랐고 저장소를 올바른 형태로 남겼는가? op_planning.py, skill_eval.py, op_trajectories.py, procedure_replay.py
비용 답변 하나 또는 세션 하나에 드는 비용은 얼마인가? ask_cost_rollup.py, session_ab.py, route_replay.py, ch_cost_by_op.py
안전 및 개인정보 보호 삭제가 모든 티어에 반영되는가? 프롬프트만 쓰는 공격자가 메모리를 추출하거나 오염시킬 수 있는가? erasure_compliance.py, memory_extraction_redteam.py, memory_poison.py, sensitivity_leakage.py
코드 인덱스 코드 인덱스가 정의, 호출자, 개념적 답변을 찾고, 나머지에는 답을 보류하는가? code_intel_qa.py, code_plane_ablation.py, code_shunt_tokens.py, code_ask_cache_threshold/
문서 파싱 추출기가 문서의 텍스트, 제목, 표, 페이지를 읽고 아무것도 잃지 않는가? docparse/ (오프라인)
트래커 tracker.similar가 이슈가 종료될 때 기준이 된 이전 중복 이슈를 찾는가? tracker_similar_bench.py
지연 시간과 인덱스 상태 검색 시간은 어디에 쓰이는가? 벡터 인덱스가 전수 검색과 같은 결과를 반환하는가? search_latency.py, vector_tenant_recall.py, ann_final_staleness.py, vector_index_vs_exact.py, scripts/ops/benchmark.py
쓰기 부하 지속적인 쓰기 속도는 어느 정도의 지연 시간과 ClickHouse 파트 수를 요구하는가? write_rate.py
규모 네임스페이스, 조직, 키가 늘어날 때 메모리는 어떤 한계에 먼저 도달하는가? scale_load.py
소비자 인수 테스트 한 종류의 배포 환경이 허용 가능한 비용으로 정확한 답변을 얻는가? acceptance/{code_agent,memory_app,plugin,harness}.py

bench/memoryarena/(서로 의존하는 작업의 이후 세션을 채점하는 에이전트 짐)와 bench/memorydata/(Loom을 다른 방법과 나란히 실행하는 테스트베드)는 Loom을 연결해 사용하는 외부 하니스입니다. 실행 방법은 각 README를 참고하세요.

랭킹 코드를 변경하는 것이 아니라 Loom을 평가하는 중이라면 Loom 평가하기에서 시작하세요. 이 문서는 하니스 목록을 제품 연동, 자체 메모리 워크로드, 코드 인텔리전스, 공개된 결과 재현을 위한 짧은 의사결정 경로로 정리해 줍니다.

진입점

진입점 실행 내용 필요 조건
make bench-quality-gate 커밋된 합성 데이터셋에 대한 quality.py. recall 0.80 미만이면 종료 코드 1 실제 임베더와 추출 LLM이 있는 서버
make bench-algorithm-gate 회귀 픽스처에 대한 extraction_eval.py와 graph_eval.py 실제 추출 LLM이 있는 서버
make bench-quick 고정된 reader와 judge로 셔플된 30개 항목에 대한 longmemeval.py 다운로드한 LongMemEval 파일, LOOM_API_KEY, OPENAI_API_KEY
make bench-matrix matrix.py: LongMemEval에서 검색 모드 × rerank × 풀 너비 bench-quick과 동일
make bench-code-intel-dry code_intel_qa.py --dry: 완벽한 합성 검색 결과에 대한 채점기 없음 (오프라인)
make bench-code-intel 롤아웃 하한선을 적용한 code_intel_qa.py 인덱싱된 ClickHouse 저장소가 있는 서버, 실제 임베더
make bench-code-legs 세 가지 leg 제거 실험에 대한 code_intel_qa.py --compare-extra, 각각 쌍으로 비교 bench-code-intel과 동일
make bench-clickgap-replay clickgap_code_replay.py: PR 리뷰 봇의 호출 순서를 재생 해당 소비자의 PR이 담긴 재생용 JSONL
make bench-clickgap-golden 해당 소비자의 골든 픽스처에 대한 clickgap_golden_replay.py GOLDEN_DIR, 이 저장소에 없는 비공개 픽스처
make bench scripts/ops/benchmark.py: 하나의 op에 대한 동시 부하, p50/p95/p99 및 RPS 서버
make test-unit pytest bench -q도 실행: 채점 코어와 데이터셋 리더 없음 (오프라인)

그 외의 모든 하네스는 python bench/<name>.py로 실행합니다 (실행 방법).

벤치가 프로덕션 호출자와 다른 점

벤치는 동일한 operation을 HTTP로 호출하지만, 세 가지 차이가 있습니다.

  1. 평가용 읽기. 크레딧을 부여하는 읽기는 다음 패스가 순위를 매길 때 기준이 되는 행을 강화하므로, 벤치가 자신의 결과를 바꿔 버립니다. 실행에 --credit을 지정하지 않으면 하니스는 memory.search에 auto_touch: false를, memory.ask에 reinforce: false를 보냅니다.
  2. 일회용 벤치 네임스페이스. 각 네임스페이스는 traffic_class와 kind를 bench로 하여 등록됩니다. 이에 따라 벤치 속도 제한 버킷(기본적으로 기본 한도의 절반), 벤치용 ClickHouse 우선순위, 별도의 비용 장부 열이 적용되며, 실행이 끝나면 삭제됩니다(벤치 네임스페이스).
  3. 고정된 측정 도구. 리더와 심사 모델은 하니스별로 고정되어 있으며 LOOM_LLM_MODEL을 따르지 않습니다. 서버의 추출 모델, 임베더, 설정이 변수입니다. --answerer loom-ask(LongMemEval) 또는 --reader ask(LoCoMo)는 memory.ask 자체를 평가합니다.

서버의 기본값은 이러한 벤치가 선택한 값입니다. LOOM_LLM_MODEL 또는 LOOM_EMBEDDING_MODEL 기본값을 바꿀 때는 make bench-quick으로 시작하며, 새 임베더에는 기준선 재측정이 필요합니다.

커버리지와 다루지 않는 범위

  • CI에는 품질 신호가 없습니다. CI는 가짜 provider로 실행되므로 검색이 아니라 scorer를 테스트합니다 (이유). 누군가 실제 배포 환경에서 게이트를 실행하지 않으면 랭킹 회귀가 눈에 띄지 않은 채 병합될 수 있습니다.
  • 커밋된 측정값이 적습니다. 결과에는 커밋된 각 측정값이 bench/results/ 아래의 아티팩트, 실행에 사용한 도구, 재현 명령과 함께 나열되어 있습니다. 여러분의 데이터와 provider에 대한 수치는 직접 배포한 환경에서 생성해야 합니다.
  • 대부분의 하네스는 저장소에 없는 데이터가 필요합니다. 서드파티 코퍼스는 다운로드해야 하며 (데이터셋), 리플레이, relied-on 세트, 트래커 정답, 트레이스 기반 지연 시간은 한 배포 환경의 비공개 데이터를 읽습니다.
  • 코드 픽스처는 특정 저장소에 한정됩니다. ClickHouse 레인에는 ClickHouse/ClickHouse 인덱스가, Langfuse 레인에는 해당 저장소의 인덱스가 필요합니다. 이 수치는 다른 코드베이스에 대해서는 거의 알려 주지 않습니다.
  • 이름이 붙은 시스템 간 점수표는 없습니다. 공개 데이터셋을 쓰는 하네스는 Loom의 수치와, 이를 공개된 표 옆에 놓고 비교하는 데 필요한 열을 보고합니다. 저장소는 Loom을 자체 빌드 및 arm과만 비교합니다.
  • 하드웨어 기록이나 용량 모델이 없습니다. 호스트를 기록하는 하네스는 없습니다. scripts/ops/benchmark.py는 하나의 동시성에서 하나의 op를 측정하고, search_latency.py는 memory.search를 네임스페이스 크기별 단계로 나누어 측정합니다. 둘 다 실제 에이전트 혼합 부하나 멀티 테넌트 경합은 모델링하지 않습니다.
  • 스킬 평가는 회상이 아니라 형태를 채점합니다 (스킬 평가).

통과가 증명하지 않는 것

  • 게이트 통과는 하한선입니다. 빌드가 하나의 임베더로 작은 세트에서 기록된 임계값을 넘었다는 뜻입니다. 여러분의 데이터에서 회상이 좋다는 의미는 아닙니다.
  • 회상은 답변 품질이 아닙니다. 메모리가 1위로 랭크되어도 잘못 해석되거나 오래된 내용일 수 있습니다. 판정 축과 실패 단계를 확인하세요.
  • 답변 정확도는 에이전트의 성공이 아닙니다. 대부분의 하네스는 한 번에 질문 하나만 채점합니다. 에이전트가 메모리로 무엇을 했는지 측정하는 것은 code_plane_ablation.py와 에이전트 gym뿐입니다.
  • 안전성 벤치는 지정된 공격만 측정합니다. memory_poison.py와 memory_extraction_redteam.py는 각자의 공격 형태에 대해서만 보고합니다. erasure_compliance.py는 모든 loom.* 테이블의 모든 String 형 컬럼에서 카나리를 검색하며, 외부 백엔드는 자체 삭제 범위만큼만 완전합니다.

관련 문서