Platform
W&B Models
W&B Weave
W&B Inference
W&B Training
Release NotesLLM Evaluation Jobs is in Preview for W&B Multi-tenant Cloud. Compute is free during the preview period. Learn more
- 벤치마크의 OpenAI Model Scorer 열에
true가 표시된 경우, 해당 벤치마크는 점수 산정을 위해 OpenAI 모델을 사용합니다. 조직 또는 팀 관리자는 OpenAI API 키를 팀 secret으로 추가해야 합니다. 이 요구 사항이 있는 벤치마크로 평가 job을 구성할 때는 Scorer API key 필드를 해당 secret으로 설정하세요. - 벤치마크의 Gated Hugging Face Dataset 열에 링크가 있는 경우, 해당 벤치마크는 액세스가 제한된(gated) Hugging Face 데이터셋에 대한 권한이 필요합니다. 조직 또는 팀 관리자는 Hugging Face에서 데이터셋에 대한 엑세스를 요청하고, Hugging Face 사용자 엑세스 토큰을 생성한 후, 엑세스 키를 포함한 팀 secret을 구성해야 합니다. 이 요구 사항이 있는 벤치마크를 구성할 때는 Hugging Face Token 필드를 해당 secret으로 설정하세요.
Knowledge
과학, 언어, 일반 상식 등 다양한 도메인에 걸친 사실적 지식을 평가합니다.| 평가 | Task ID | OpenAI Model Scorer | Gated Hugging Face 데이터셋 | 설명 |
|---|---|---|---|---|
| BoolQ | boolq | 자연어 쿼리 기반의 Boolean Yes/No 질문 | ||
| GPQA Diamond | gpqa_diamond | 대학원 수준의 과학 질문 (최고 품질 서브셋) | ||
| HLE | hle | Yes | 인간 수준의 평가(Human-level evaluation) 벤치마크 | |
| Lingoly | lingoly | Yes | 언어학 올림피아드 문제 | |
| Lingoly Too | lingoly_too | Yes | 확장된 언어학 챌린지 문제 | |
| MMIU | mmiu | 대규모 멀티태스크 언어 이해 벤치마크 | ||
| MMLU (0-shot) | mmlu_0_shot | 예시가 없는 대규모 멀티태스크 언어 이해 평가 | ||
| MMLU (5-shot) | mmlu_5_shot | 5개의 예시가 포함된 대규모 멀티태스크 언어 이해 평가 | ||
| MMLU-Pro | mmlu_pro | MMLU의 더 어려운 버전 | ||
| ONET M6 | onet_m6 | 직업 지식 벤치마크 | ||
| PAWS | paws | 문구 변형 적대적 단어 교체 (Paraphrase adversarial word substitution) | ||
| SevenLLM MCQ (영어) | sevenllm_mcq_en | 영어로 된 객관식 질문 | ||
| SevenLLM MCQ (중국어) | sevenllm_mcq_zh | 중국어로 된 객관식 질문 | ||
| SevenLLM QA (영어) | sevenllm_qa_en | 영어 질의응답 | ||
| SevenLLM QA (중국어) | sevenllm_qa_zh | 중국어 질의응답 | ||
| SimpleQA | simpleqa | Yes | 직설적인 사실 기반 질의응답 | |
| SimpleQA Verified | simpleqa_verified | 검증된 답변이 포함된 SimpleQA의 검증된 서브셋 | ||
| WorldSense | worldsense | 세상에 대한 지식 및 상식 이해도 평가 |
Reasoning
논리적 사고, 문제 해결 및 상식 추론 능력을 평가합니다.| 평가 | Task ID | OpenAI Scorer | Gated HF 데이터셋 | 설명 |
|---|---|---|---|---|
| AGIE AQUA-RAT | agie_aqua_rat | 근거가 포함된 대수학 질의응답 | ||
| AGIE LogiQA (영어) | agie_logiqa_en | 영어로 된 논리 추론 질문 | ||
| AGIE LSAT Analytical Reasoning | agie_lsat_ar | LSAT 분석적 추론 (논리 게임) 문제 | ||
| AGIE LSAT Logical Reasoning | agie_lsat_lr | LSAT 논리적 추론 질문 | ||
| ARC Challenge | arc_challenge | 추론이 필요한 고난도 과학 질문 (AI2 Reasoning Challenge) | ||
| ARC Easy | arc_easy | ARC 데이터셋 중 비교적 쉬운 과학 질문 세트 | ||
| BBH | bbh | BIG-Bench Hard: BIG-Bench 중 도전적인 태스크들 | ||
| CoCoNot | coconot | 반사실적(Counterfactual) 상식 추론 벤치마크 | ||
| CommonsenseQA | commonsense_qa | 상식 추론 질문 | ||
| HellaSwag | hellaswag | 상식적인 자연어 추론 | ||
| MUSR | musr | 다단계 추론 벤치마크 | ||
| PIQA | piqa | 물리적 상식 추론 | ||
| WinoGrande | winogrande | 대명사 해소(Pronoun resolution)를 통한 상식 추론 |
Math
초등 수학부터 경시 수준 문제까지 다양한 난이도의 수학적 문제 해결 능력을 평가합니다.| 평가 | Task ID | OpenAI Scorer | Gated HF 데이터셋 | 설명 |
|---|---|---|---|---|
| AGIE Math | agie_math | AGIE 벤치마크 세트의 고급 수학적 추론 | ||
| AGIE SAT Math | agie_sat_math | SAT 수학 문제 | ||
| AIME 2024 | aime2024 | 2024년 미국 수학 초청 시험(AIME) 문제 | ||
| AIME 2025 | aime2025 | 2025년 미국 수학 초청 시험(AIME) 문제 | ||
| GSM8K | gsm8k | Grade School Math 8K: 다단계 초등 수학 문장제 문제 | ||
| InfiniteBench Math Calc | infinite_bench_math_calc | 긴 컨텍스트에서의 수학적 계산 | ||
| InfiniteBench Math Find | infinite_bench_math_find | 긴 컨텍스트에서의 수학적 패턴 찾기 | ||
| MATH | math | 경시 대회 수준의 수학 문제 | ||
| MGSM | mgsm | 다국어 초등 수학 (Multilingual Grade School Math) |
Code
디버깅, 코드 실행 예측, 함수 호출(function calling) 등 프로그래밍 및 소프트웨어 개발 역량을 평가합니다.| 평가 | Task ID | OpenAI Scorer | Gated HF 데이터셋 | 설명 |
|---|---|---|---|---|
| BFCL | bfcl | Berkeley Function Calling Leaderboard: 함수 호출 및 툴 사용 능력을 테스트 | ||
| InfiniteBench Code Debug | infinite_bench_code_debug | 긴 컨텍스트 기반 코드 디버깅 태스크 | ||
| InfiniteBench Code Run | infinite_bench_code_run | 긴 컨텍스트 기반 코드 실행 예측 |
Reading
복잡한 텍스트에서의 독해력 및 정보 추출 능력을 평가합니다.| 평가 | Task ID | OpenAI Scorer | Gated HF 데이터셋 | 설명 |
|---|---|---|---|---|
| AGIE LSAT Reading Comprehension | agie_lsat_rc | LSAT 독해 지문 및 질문 | ||
| AGIE SAT English | agie_sat_en | 지문이 포함된 SAT 독해 및 작문 질문 | ||
| AGIE SAT English (지문 없음) | agie_sat_en_without_passage | 지문이 제공되지 않는 SAT 영어 질문 | ||
| DROP | drop | 수치적 추론이 필요한 독해 평가 (Discrete Reasoning Over Paragraphs) | ||
| RACE-H | race_h | 영어 시험 기반 독해 평가 (고난도) | ||
| SQuAD | squad | Stanford Question Answering Dataset: 위키피디아 기사 기반의 추출적 질의응답 |
Long context
검색(retrieval) 및 패턴 인식을 포함하여 확장된 컨텍스트를 처리하고 추론하는 능력을 평가합니다.| 평가 | Task ID | OpenAI Scorer | Gated HF 데이터셋 | 설명 |
|---|---|---|---|---|
| InfiniteBench KV Retrieval | infinite_bench_kv_retrieval | 긴 컨텍스트에서의 Key-Value 검색 | ||
| InfiniteBench LongBook (영어) | infinite_bench_longbook_choice_eng | 긴 책 내용에 대한 객관식 질문 | ||
| InfiniteBench LongDialogue QA (영어) | infinite_bench_longdialogue_qa_eng | 긴 대화 내용에 대한 질의응답 | ||
| InfiniteBench Number String | infinite_bench_number_string | 긴 시퀀스에서의 숫자 패턴 인식 | ||
| InfiniteBench Passkey | infinite_bench_passkey | 긴 컨텍스트로부터 정보 검색 | ||
| NIAH | niah | Needle in a Haystack: 긴 컨텍스트 검색 테스트 |
Safety
정렬(alignment), 바이어스 탐지, 유해 콘텐츠 거부 및 진실성을 평가합니다.| 평가 | Task ID | OpenAI Scorer | Gated HF 데이터셋 | 설명 |
|---|---|---|---|---|
| AgentHarm | agentharm | Yes | 유해한 에이전트 행동 및 오용 시나리오에 대한 모델의 저항성 테스트 | |
| AgentHarm Benign | agentharm_benign | Yes | 오탐지율을 측정하기 위한 AgentHarm의 양성(benign) 베이스라인 | |
| Agentic Misalignment | agentic_misalignment | 에이전트 행동의 잠재적 불일치(misalignment) 평가 | ||
| AHB | ahb | Agent Harmful Behavior: 유해한 에이전트 행동에 대한 저항성 테스트 | ||
| AIRBench | air_bench | 적대적 지시(adversarial instruction) 저항성 테스트 | ||
| BBEH | bbeh | 유해 행동 평가를 위한 바이어스 벤치마크 | ||
| BBEH Mini | bbeh_mini | BBEH 벤치마크의 소형 버전 | ||
| BBQ | bbq | 질의응답을 위한 바이어스 벤치마크 (Bias Benchmark for Question Answering) | ||
| BOLD | bold | 개방형 언어 생성 데이터셋의 바이어스 평가 | ||
| CYSE3 Visual Prompt Injection | cyse3_visual_prompt_injection | 시각적 프롬프트 인젝션 공격에 대한 저항성 테스트 | ||
| Make Me Pay | make_me_pay | 금융 사기 및 사기 시나리오에 대한 저항성 테스트 | ||
| MASK | mask | Yes | Yes | 모델의 민감 정보 처리 능력 테스트 |
| Personality BFI | personality_BFI | Big Five 성격 특성 평가 | ||
| Personality TRAIT | personality_TRAIT | Yes | 종합적인 성격 특성 평가 | |
| SOSBench | sosbench | Yes | 안전 및 감독 스트레스 테스트 | |
| StereoSet | stereoset | 언어 모델의 고정관념적 바이어스 측정 | ||
| StrongREJECT | strong_reject | 유해한 요청을 거부하는 모델의 능력 테스트 | ||
| Sycophancy | sycophancy | 아첨하는 행동(sycophantic behavior)에 대한 경향 평가 | ||
| TruthfulQA | truthfulqa | 모델의 진실성 및 거짓에 대한 저항성 테스트 | ||
| UCCB | uccb | 안전하지 않은 콘텐츠 분류 벤치마크 | ||
| WMDP Bio | wmdp_bio | 생물학 분야의 위험 지식 테스트 | ||
| WMDP Chem | wmdp_chem | 화학 분야의 위험 지식 테스트 | ||
| WMDP Cyber | wmdp_cyber | 사이버 보안 분야의 위험 지식 테스트 | ||
| XSTest | xstest | Yes | 과도한 거부 탐지를 위한 과장된 안전성 테스트 |
Domain-Specific
의학, 화학, 법률, 생물학 및 기타 전문 분야의 특화된 지식을 평가합니다.| 평가 | Task ID | OpenAI Scorer | Gated HF 데이터셋 | 설명 |
|---|---|---|---|---|
| ChemBench | chembench | 화학 지식 및 문제 해결 벤치마크 | ||
| HealthBench | healthbench | Yes | 헬스케어 및 의학 지식 평가 | |
| HealthBench Consensus | healthbench_consensus | Yes | 전문가 합의가 포함된 헬스케어 질문 | |
| HealthBench Hard | healthbench_hard | Yes | 도전적인 헬스케어 시나리오 | |
| LabBench Cloning Scenarios | lab_bench_cloning_scenarios | 실험실 실험 계획 및 클로닝 | ||
| LabBench DBQA | lab_bench_dbqa | 실험실 시나리오에 대한 데이터베이스 질의응답 | ||
| LabBench FigQA | lab_bench_figqa | 과학적 컨텍스트에서의 도표 해석 | ||
| LabBench LitQA | lab_bench_litqa | 연구를 위한 문헌 기반 질의응답 | ||
| LabBench ProtocolQA | lab_bench_protocolqa | 실험실 프로토콜 이해 | ||
| LabBench SeqQA | lab_bench_seqqa | 생물학적 시퀀스 분석 질문 | ||
| LabBench SuppQA | lab_bench_suppqa | 보충 자료 해석 | ||
| LabBench TableQA | lab_bench_tableqa | 과학 논문의 표 해석 | ||
| MedQA | medqa | 의사 면허 시험 질문 | ||
| PubMedQA | pubmedqa | 연구 초록 기반의 생의학 질의응답 | ||
| SEC-QA v1 | sec_qa_v1 | SEC 공시 서류 질의응답 | ||
| SEC-QA v1 (5-shot) | sec_qa_v1_5_shot | 5개의 예시가 포함된 SEC-QA | ||
| SEC-QA v2 | sec_qa_v2 | 업데이트된 SEC 공시 서류 벤치마크 | ||
| SEC-QA v2 (5-shot) | sec_qa_v2_5_shot | 5개의 예시가 포함된 SEC-QA v2 |
Multimodal
시각적 입력과 텍스트 입력을 결합하여 비전 및 언어 이해 능력을 평가합니다.| 평가 | Task ID | OpenAI Scorer | Gated HF 데이터셋 | 설명 |
|---|---|---|---|---|
| DocVQA | docvqa | Document Visual Question Answering: 문서 이미지에 대한 질문 | ||
| MathVista | mathvista | 시각적 컨텍스트를 결합한 수학적 추론 | ||
| MMMU Multiple Choice | mmmu_multiple_choice | 객관식 형식의 멀티모달 이해 | ||
| MMMU Open | mmmu_open | 개방형 응답 형식의 멀티모달 이해 | ||
| V*Star Bench Attribute Recognition | vstar_bench_attribute_recognition | 시각적 속성 인식 태스크 | ||
| V*Star Bench Spatial Relationship | vstar_bench_spatial_relationship_reasoning | 시각적 입력을 통한 공간 추론 |
Instruction Following
특정 지침 및 형식 요구 사항에 대한 준수 여부를 평가합니다.| 평가 | Task ID | OpenAI Scorer | Gated HF 데이터셋 | 설명 |
|---|---|---|---|---|
| IFEval | ifeval | 정밀한 지시 준수 능력을 테스트 |
System
기본 시스템 검증 및 사전 점검입니다.| 평가 | Task ID | OpenAI Scorer | Gated HF 데이터셋 | 설명 |
|---|---|---|---|---|
| Pre-Flight | pre_flight | 기본 시스템 체크 및 유효성 검사 테스트 |
다음 단계
- 모델 체크포인트 평가
- 호스팅된 API 모델 평가
- 특정 벤치마크에 대한 자세한 내용은 AISI Inspect Evals에서 확인하세요.