Một điểm số chỉ có nghĩa khi đi kèm điều kiện đo.A score means nothing without its conditions.

Mỗi benchmark là một cách đo: một bộ đề cộng một cách chấm. Trang này đi từ các cách chấm điểm AI model, qua chín thước đo trong bảng ra mắt Claude Opus 5.5, tới những thước đo còn lại, để bạn biết mỗi con số đo gì và nên tin đến đâu.Every benchmark is a way of measuring: a task set plus a grading method. This page moves from how AI models get graded, through the nine measures in Claude Opus 5.5's launch table, to the measures left out, so you know what each number measures and how far to trust it.

Ở mức năng lực hiện nay, chênh lệch vài điểm benchmark ngày càng kém tin cậy khi dùng để đoán khác biệt ngoài đời thực. At today's capability levels, a few points of benchmark difference are an increasingly unreliable predictor of real-world difference. Diễn ý từ thông báo ra mắt Opus 5.5 của Anthropic, 22/09/2026Paraphrased from Anthropic's Opus 5.5 launch note, Sept 22, 2026

Chênh lệch nào là thật?Which gap is real?

Mỗi dải là khoảng ±2 sai số chuẩn quanh điểm số. Dải không chạm nhau: khác biệt đáng tin. Dải chồng lên nhau: coi như hoà.Each band spans ±2 standard errors around the score. Bands apart: a trustworthy gap. Bands overlapping: call it a tie.

SE lấy từ chú thích của Anthropic: ±2,6 (Opus 5.5, TB 4.0), ±1,6–2 (Claude khác), ±3,5–5 (TB-Science, dùng mức giữa 4). SE của Astra ở TB 4.0 không được công bố nên không vẽ.SEs from Anthropic's footnotes: ±2.6 (Opus 5.5, TB 4.0), ±1.6–2 (other Claude models), ±3.5–5 (TB-Science, midpoint 4 used). Astra's TB 4.0 SE isn't published, so it isn't drawn.

Terminal-Bench 4.0
FrontierCode
CursorBench
GDPval-AA
AutomationBench
Humanity's Last Exam
Terminal-Bench-Science
OSWorld 2.0
Chartography

Chọn thước đo nàoWhich measure to use

Bắt đầu từ việc bạn định giao cho model, không bắt đầu từ bảng điểm.Start from the job you'll give the model, not from the score table.

Trước hết: có thể bạn không cần benchmark nàoFirst: you may not need any benchmark Nếu việc đơn giản (tóm tắt, phân loại, trích xuất) hoặc bạn đã có log thật, hãy tự dựng eval 30–50 ca, chạy 2–3 model, mỗi model 3 lượt, ở đúng effort bạn dùng. Ghi tỉ lệ đạt, chi phí và thời gian mỗi ca. Một buổi chiều là xong, và đáng tin hơn mọi bảng điểm. If the task is simple (summarizing, classifying, extracting) or you already have real logs, build a 30–50 case eval, run 2–3 models, 3 runs each, at your real effort. Record pass rate, cost and time per case. It takes an afternoon and beats any score table.

Chạy lệnh, cấu hình hệ thống, debug trong terminalRun commands, configure systems, debug in a terminalTerminal-Bench 4.0

Cần PR đủ chất lượng để mergeNeed PRs good enough to mergeFrontierCode

Yêu cầu mơ hồ, sửa nhiều file trong IDEVague requests, multi-file edits in an IDECursorBench

Làm báo cáo, slide, bảng tính chuyên mônProduce professional reports, slides, spreadsheetsGDPval-AA

Nối nhiều app SaaS thành quy trình tự độngChain SaaS apps into automated workflowsAutomationBench

Câu hỏi chuyên sâu nhiều ngành, đáp án đóngExpert multi-field questions, closed answersHLE

Tự chạy thí nghiệm, phân tích dữ liệu khoa họcRun experiments, analyze scientific dataTerminal-Bench-Science

Thao tác phần mềm qua giao diện (xem cả điểm strict)Operate software through its GUI (check strict too)OSWorld 2.0

Đọc biểu đồ chuyên ngành (xem cả điểm no-tools)Read domain charts (check no-tools too)Chartography

Các cách chấm điểm AI modelHow AI models get graded

Mọi benchmark đều dựa trên một hoặc vài cách chấm dưới đây. Biết cách chấm là biết benchmark đo tốt gì và mù ở đâu, trước cả khi nhìn con số.Every benchmark rests on one or a few of these methods. Know the method and you know what it measures well and where it's blind, before reading the number.

So khớp đáp ánAnswer matching

Cách làmHow: Mỗi câu có đáp án chuẩn; câu trả lời được so khớp trực tiếp hoặc sau chuẩn hoá.Each item has a reference answer, matched directly or after normalization.

Đo tốtGood at: Tri thức, suy luận đáp án đóng. Rẻ, chạy lại dễ.Knowledge, closed-form reasoning. Cheap, easy to rerun.

Điểm mùBlind spot: Không thấy quá trình; dễ nhiễm dữ liệu; đáp án chuẩn sai thì chặn trần.Can't see the process; contamination-prone; wrong keys cap the ceiling.

MMLU, GPQA, HLE, AIME, SimpleQA

Đổi độ sát việc thật lấy chi phí chấm gần bằng không.Trades real-work fit for near-zero grading cost.

Chạy thử, kiểm tra trạng tháiExecution and state checks

Cách làmHow: Model làm việc trong môi trường thật; script chạy test hoặc kiểm tra trạng thái cuối.The model works in a real environment; a script runs tests or checks final state.

Đo tốtGood at: Việc có kết quả kiểm chứng được.Work with verifiable outcomes.

Điểm mùBlind spot: Test yếu thì agent lách được (reward hacking); không đo chất lượng.Weak tests invite reward hacking; no quality signal.

SWE-bench, Terminal-Bench, AutomationBench, LiveCodeBench

Đổi công dựng môi trường lấy tín hiệu khách quan.Trades environment-building effort for an objective signal.

Checkpoint, điểm từng phầnCheckpoints and partial credit

Cách làmHow: Chia task dài thành checkpoint. Partial là tỉ lệ đạt; strict chỉ tính khi đạt hết.Split long tasks into checkpoints. Partial is the share met; strict needs all.

Đo tốtGood at: Task hàng trăm bước, nơi đạt/trượt quá thô.Hundred-step tasks where pass/fail is too coarse.

Điểm mùBlind spot: Partial cao có thể che việc không bao giờ xong.High partial can hide work that never finishes.

OSWorld 2.0

Đổi câu trả lời "xong chưa" lấy độ phân giải về tiến độ.Trades "is it done?" for resolution on progress.

Dung sai sốNumeric tolerance

Cách làmHow: Đáp án là số, đúng khi nằm trong khoảng chuyên gia đặt.A numeric answer counts if it falls in an expert-set band.

Đo tốtGood at: Ước lượng, đọc hình, tính nhiều bước.Estimation, visual reading, multi-step math.

Điểm mùBlind spot: Độ rộng khoảng quyết định độ khó; rộng quá thì đoán cũng đúng.Band width sets difficulty; too wide and guesses pass.

Chartography

Đổi độ chính xác tuyệt đối lấy khả năng chấm bài không có số đúng duy nhất.Trades exact precision for grading problems with no single exact number.

Giám khảo theo rubricRubric judges

Cách làmHow: Chuyên gia hoặc LLM-as-a-judge chấm theo bảng tiêu chí.Experts or an LLM judge score against a rubric.

Đo tốtGood at: Sản phẩm mở: báo cáo, slide, code review.Open deliverables: reports, slides, code review.

Điểm mùBlind spot: LLM chấm thích câu dài, trình bày đẹp; chuyên gia đắt và chậm.LLM judges favor long, polished answers; experts are slow and costly.

GDPval, FrontierCode, ~11,5% điểm OSWorld 2.0

Đổi tính khách quan lấy khả năng chấm việc không có đáp án.Trades objectivity for grading work with no answer key.

So cặp → EloPairwise → Elo

Cách làmHow: Hai đầu ra đặt cạnh nhau, chọn bản tốt hơn; quy thành Elo (Bradley–Terry).Two outputs side by side, pick the better; converted to Elo (Bradley–Terry).

Đo tốtGood at: Chất lượng tổng thể việc mở; so sánh ổn định hơn chấm tuyệt đối.Overall quality of open work; comparing beats absolute scoring.

Điểm mùBlind spot: Điểm tương đối, trôi theo nhóm model; nhạy độ dài.Relative, drifts with the pool; length-sensitive.

GDPval-AA, LMArena

Đổi thang đo tuyệt đối lấy phán đoán ổn định hơn.Trades an absolute scale for steadier judgments.

Người dùng mô phỏngSimulated users

Cách làmHow: Agent trò chuyện nhiều lượt với "người dùng" do model khác đóng, hoặc vận hành môi trường giả lập dài hạn.The agent talks over many turns with a model-played "user," or runs a long simulation.

Đo tốtGood at: Hội thoại nhiều lượt, tuân thủ chính sách, nhất quán dài hạn.Multi-turn dialogue, policy compliance, long-run coherence.

Điểm mùBlind spot: Người dùng giả dễ đoán hơn người thật.Simulated users are more predictable than real ones.

τ²-bench, Vending-Bench

Đổi độ thật của con người lấy khả năng chạy lại hàng nghìn lần.Trades human realism for thousands of identical replays.

Đối kháng, red-teamingAdversarial and red-teaming

Cách làmHow: Cố tình tấn công bằng prompt injection, jailbreak, kịch bản cám dỗ; đo tỉ lệ thất thủ.Attack with prompt injection, jailbreaks, temptation scenarios; measure failure rate.

Đo tốtGood at: An toàn, độ bền khi đầu vào xấu.Safety and robustness under bad input.

Điểm mùBlind spot: Chỉ đo kiểu tấn công đã biết; model có thể nhận ra đang bị thử.Only known attacks; models may notice they're being tested.

Gray Swan, behavioral audit ~2.000 kịch bản

Đổi độ phủ rộng lấy chiều sâu ở lỗi nguy hiểm nhất.Trades breadth for depth on the most dangerous failures.

Chi phí và thời gianCost and time

Cách làmHow: Gắn điểm với chi phí, token mỗi task, hoặc độ dài task theo thời gian người làm.Tie scores to cost, tokens per task, or task length in human time.

Đo tốtGood at: Hiệu quả kinh tế, độ tự chủ của agent.Economic efficiency, agent autonomy.

Điểm mùBlind spot: Giá đổi liên tục; phụ thuộc effort và cache.Prices change; depends on effort and caching.

METR time horizon, biểu đồ Pareto điểm–chi phí

Đổi sự gọn của một con số lấy cái giá của từng điểm.Trades one neat number for the price of each point.

Các chỉ số thường gặpCommon metrics

Chỉ sốMetric	NghĩaMeaning	Dùng khiUse when
pass@1	Đúng ngay lần đầu	Năng lực trung bình
pass@k	Ít nhất 1 trong k lần đúng	Có bộ kiểm tra tự chọn lời giải đúng
pass^k	Cả k lần đều đúng	Độ tin cậy agent chạy thật
Partial / strict	Từng phần / trọn vẹn	Task dài
Elo	Tương đối, từ so cặp	Việc không có đáp án duy nhất
SE, CI	Độ dao động khi chạy lại	Mọi phép so sánh
Cost / task	Giá của mỗi điểm	Chọn model production
pass@1	Correct on first try	Average ability
pass@k	At least 1 of k correct	An auto-checker picks the right attempt
pass^k	All k correct	Reliability of production agents
Partial / strict	Partial / full completion	Long tasks
Elo	Relative, from pairwise	No single answer
SE, CI	Variation on rerun	Every comparison
Cost / task	Price of each point	Choosing for production

pass^k hay bị bỏ qua nhất: agent có pass@1 là 80% thì đúng cả 5/5 lần chỉ khoảng 0,8⁵ ≈ 33% nếu các lần chạy độc lập. Người dùng trải nghiệm pass^k, không phải pass@1.pass^k is the most overlooked: an agent at 80% pass@1 gets 5 of 5 right only about 0.8⁵ ≈ 33% of the time if runs are independent. Users experience pass^k, not pass@1.

Chọn cách chấm cho eval của riêng bạnPick a grading method for your own eval

Đầu ra có đáp án duy nhất?
├─ Có ──► so khớp đáp án (đáp án là số ──► dung sai)
└─ Không
   ├─ Kiểm tra được bằng code/trạng thái? ──► chạy test
   │     └─ task dài ──► checkpoint, báo cả partial lẫn strict
   └─ Không
      ├─ Viết được tiêu chí rõ ──► rubric, LLM chấm, người kiểm ~10%
      └─ Chỉ biết "bản nào tốt hơn" ──► so cặp mù
Agent chạy lặp lại trong production? ──► đo thêm pass^k và chi phí/task

Single correct answer?
├─ Yes ──► answer matching (numeric ──► tolerance)
└─ No
   ├─ Checkable by code/state? ──► run tests
   │     └─ long task ──► checkpoints, report partial and strict
   └─ No
      ├─ Clear criteria ──► rubric, LLM judge, humans re-check ~10%
      └─ Only "which is better" ──► blind pairwise
Runs repeatedly in production? ──► also measure pass^k and cost/task

Chín thước đo trong ảnhThe nine measures in the image

Góc phải mỗi thẻ là cách chấm của benchmark đó, kèm điểm Opus 5.5 để tham khảo. Màu là họ năng lực.Each card's top right shows the benchmark's grading method, with Opus 5.5's score for reference. Color is the capability family.

Lập trình agenticAgentic coding

Terminal-Bench 4.0

Đạt / trượtPass / failOpus 5.5: 66.4%

task ─► agent ─► shell ─┐
          ▲             │ loop
          └── output ◄──┘
script checks end state ─► pass/fail

Task nhiều bước làm hoàn toàn qua dòng lệnh, chấm bằng trạng thái cuối của hệ thống.Multi-step tasks done entirely at the command line, graded on the system's final state.

Dùng choUse for: Agent DevOps, dựng môi trường, xử lý sự cố server.DevOps agents, environment setup, server troubleshooting.
ĐượcGain: Chấm khách quan, có sai số công bố.Objective grading, published error.
MấtLose: Không đo chất lượng code; rất nhạy với harness.No code-quality signal; very harness-sensitive.

Đổi độ bao phủ việc có giao diện và có con người lấy tín hiệu đạt/trượt khó cãi.Trades coverage of GUI and people-facing work for a hard-to-argue pass/fail signal.

Nhận biết:Tell: việc kết thúc khi một lệnh chạy xanh.the job ends when a command goes green.

Lập trình agenticAgentic coding

FrontierCode v1.1

Chuẩn mergeMerge barOpus 5.5: 54.4%

issue ─► agent ─► diff
            ┌──────┴──────┐
        works?      mergeable?
            └──────┬──────┘
             merge / reject

Đo xem thay đổi code của agent có đủ tốt để được merge, không chỉ là qua test.Asks whether the agent's change would be merged, not just whether tests pass.

Dùng choUse for: Agent mở PR từ issue, bot nâng cấp dependency.Agents opening PRs from issues, dependency bots.
ĐượcGain: Gần chi phí thật: PR bị từ chối là giờ review mất trắng.Close to real cost: a rejected PR is wasted review time.
MấtLose: Các model top sát nhau, dễ nằm trong nhiễu.Top models are within noise of each other.

Đổi sự rẻ và đơn giản của chấm bằng test lấy chuẩn gần với quyết định merge thật.Trades cheap, simple test grading for a bar close to a real merge decision.

Nhận biết:Tell: đầu ra là PR chờ người review.the output is a PR awaiting review.

Lập trình agenticAgentic coding

CursorBench 4.0

Task thật, mơ hồReal, vague tasksOpus 5.5: 57.8%

"make it validate like that page"
        │  (vague)
        ▼
find files + conventions
        ▼
edit A, B, C ─► graded

Task lấy từ phiên làm việc thật trong Cursor: yêu cầu mơ hồ, sửa nhiều file.Tasks from real Cursor sessions: vague requests, multi-file edits.

Dùng choUse for: Trợ lý code trong IDE, codebase lạ.In-IDE assistants, unfamiliar codebases.
ĐượcGain: Đo khả năng hiểu ý khi đề bài thiếu.Measures intent-reading from incomplete briefs.
MấtLose: Khó tái lập độc lập; không có số Astra.Hard to reproduce independently; no Astra number.

Đổi khả năng tái lập độc lập lấy độ sát với cách lập trình viên thật giao việc.Trades independent reproducibility for fidelity to how developers actually delegate.

Nhận biết:Tell: yêu cầu một dòng, không nói file nào.one-line requests that don't name files.

Công việc văn phòng và quy trìnhOffice work and workflows

Công việc văn phòngKnowledge work

GDPval-AA v2.1

So cặp → EloPairwise → EloOpus 5.5: 1846

task ─► model A ─► file A ┐
     └► model B ─► file B ┴► pairwise
                             ▼
                         win/loss ─► Elo

Công việc chuyên môn thật ở 44 nghề, sản phẩm được so từng cặp rồi quy ra Elo.Real professional work across 44 occupations, compared pairwise and converted to Elo.

Dùng choUse for: Mô hình Excel, báo cáo, slide cho khách.Excel models, reports, client slides.
ĐượcGain: Bao phủ rộng; khoảng cách trong bảng rất rõ.Broad coverage; a very clear gap in the table.
MấtLose: Elo là số tương đối, dịch chuyển theo nhóm model.Elo is relative and shifts with the model pool.

Đổi độ chính xác của đáp án đúng/sai lấy khả năng chấm việc không có đáp án duy nhất.Trades right/wrong precision for the ability to grade work with no single answer.

Nhận biết:Tell: đầu ra là một file giao cho sếp.the output is a file handed to a manager.

Quy trình doanh nghiệpBusiness workflows

AutomationBench

Trạng thái appApp end stateOpus 5.5: 40.0%

form ─► CRM ─► Gmail ─► Slack ─► Sheets
        (each hop = an API call
         that can go wrong)

Do Zapier xây dựng: chạy quy trình kinh doanh thật qua nhiều app được kết nối.Built by Zapier: carry out real business workflows across many connected apps.

Dùng choUse for: Tự động hoá sales-ops, đồng bộ SaaS.Sales-ops automation, SaaS syncing.
ĐượcGain: Bên thứ ba chạy; chưa bão hoà.Third-party run; not saturated.
MấtLose: Số không cùng lượt chạy; safeguard tính là trượt.Not one run; safeguard hits count as failures.

Đổi sự sạch sẽ của một lượt chạy có kiểm soát lấy độ sát với quy trình SaaS đang vận hành.Trades a clean controlled run for fidelity to SaaS workflows businesses really run.

Nhận biết:Tell: nhân viên đang copy-paste giữa các tab.staff copy-paste between tabs.

Suy luận và nghiên cứuReasoning and research

Suy luận đa ngànhMultidisciplinary reasoning

Humanity's Last Exam

Khớp đáp ánAnswer matchOpus 5.5: 67.7%

expert question ─► model ─► short answer
                     │            ▼
            search + code   match key

Khoảng 2.500 câu hỏi cực khó cấp chuyên gia, đáp án đóng, chấm tự động.About 2,500 very hard expert questions with closed answers, auto-graded.

Dùng choUse for: Trợ lý nghiên cứu, hỏi đáp liên ngành.Research assistants, cross-field Q&A.
ĐượcGain: Rẻ, rộng, còn chỗ phân biệt model.Cheap, broad, still has headroom.
MấtLose: Có tool khác không tool (AA đo 61,4%); một số đáp án chuẩn bị nghi sai.Tools ≠ no tools (AA measured 61.4%); some answer keys disputed.

Đổi độ sát với nghiên cứu thật lấy phép đo tri thức sâu rẻ và chấm tự động.Trades closeness to real research for a cheap, auto-graded depth-of-knowledge test.

Nhận biết:Tell: câu hỏi Google không trả lời thẳng được.questions Google can't answer directly.

Nghiên cứu khoa học agenticAgentic science

Terminal-Bench-Science 0.1

Đạt / trượtPass / failOpus 5.5: 58.7%

question ─► agent ─► fetch data
                       ▼
             scripts + analysis
                       ▼
           result ─► auto check

Nhánh khoa học của Terminal-Bench: xử lý dữ liệu, mô phỏng, phân tích qua terminal.Terminal-Bench's science branch: data processing, simulation, analysis via terminal.

Dùng choUse for: Pipeline phân tích sinh/hoá, tái lập bài báo.Bio/chem analysis pipelines, paper reproduction.
ĐượcGain: Đo nghiên cứu như một quá trình nhiều bước.Measures research as a multi-step process.
MấtLose: Bản 0.1, sai số lớn; khoảng cách với Astra sát vùng nhiễu.Version 0.1, large error; the Astra gap is near noise.

Đổi độ ổn định của bộ đề trưởng thành lấy tín hiệu sớm về năng lực tự nghiên cứu.Trades a mature, stable test set for an early signal on autonomous research.

Nhận biết:Tell: một thí nghiệm lặp với hàng chục cấu hình.one experiment repeated across dozens of configs.

Tri giác và thao tác máy tínhPerception and computer use

Thao tác máy tínhComputer use

OSWorld 2.0

Partial / strictPartial / strictOpus 5.5: 81.8% partial

long task ─► see, click, type
                  ▼
           ~27 checkpoints
partial = avg share passed
strict  = ALL must pass

108 quy trình dài trên hệ điều hành thật; người thạo việc mất trung vị khoảng 1,6 giờ mỗi task.108 long workflows on real OSes; a skilled human needs a median of ~1.6 hours each.

Dùng choUse for: Phần mềm không có API, nhập liệu nhiều app.Software with no API, multi-app data entry.
ĐượcGain: Task dài, thật, tái lập được.Long, realistic, reproducible tasks.
MấtLose: Partial che giấu việc không hoàn thành.Partial hides non-completion.

Dùng điểm partial là đổi câu trả lời "việc có xong không" lấy thang điểm mượt hơn.Using partial trades the answer to "did it get done?" for a smoother scale.

Nhận biết:Tell: chỉ có cách thao tác bằng giao diện.the GUI is the only way in.

Đọc biểu đồChart reading

Chartography

Dung sai sốNumeric toleranceOpus 5.5: 89.0%

chart + question ─► model
  no tools: eyeball it
  tools:    crop, zoom, run code
        ▼
within expert tolerance?

100 biểu đồ chuyên ngành thật (Sankey, nến, Kaplan–Meier, Bode) thuộc 12 lĩnh vực.100 real domain charts (Sankey, candlestick, Kaplan–Meier, Bode) across 12 fields.

Dùng choUse for: Đọc báo cáo dạng ảnh, trích số từ bài báo.Image-only reports, figures from papers.
ĐượcGain: Nhắm đúng chỗ ChartQA, CharXiv đã bão hoà.Targets what saturated ChartQA/CharXiv miss.
MấtLose: Chỉ 100 câu; Opus 5 được 83,0% có tool nhưng 29,6% không tool.Only 100 items; Opus 5 scores 83.0% with tools, 29.6% without.

Dùng bản có tool là đổi bức tranh về khả năng nhìn thuần tuý lấy con số sát cách dùng có môi trường code.Using the tools variant trades a picture of raw vision for a number that matches use with a code sandbox.

Nhận biết:Tell: giá trị chỉ được vẽ, không được ghi.the value is plotted, not stated.

Ngoài ảnh: các thước đo khácBeyond the image: other measures

Bảng ra mắt là lát cắt do nhà cung cấp chọn. Trạng thái bão hoà thay đổi nhanh; kiểm tra leaderboard hiện tại trước khi dựa vào.A launch table is a slice the vendor chose. Saturation status changes fast; check current leaderboards before relying on any.

Tri thức và suy luậnKnowledge and reasoning

MMLU / MMLU-Pro: trắc nghiệm nhiều ngành; bản gốc đã bão hoà.
GPQA Diamond: khoa học cấp tiến sĩ, khó tra Google.
ARC-AGI: câu đố mới lạ, đo suy luận thay vì kiến thức.
FrontierMath, AIME: toán nghiên cứu, toán thi đấu.
SimpleQA: tần suất bịa khi không biết.

MMLU / MMLU-Pro: multi-subject multiple choice; the original is saturated.
GPQA Diamond: PhD-level science, hard to Google.
ARC-AGI: novel puzzles testing reasoning over knowledge.
FrontierMath, AIME: research and competition math.
SimpleQA: how often a model fabricates when it doesn't know.

Lập trìnhCoding

SWE-bench Verified / Pro: sửa issue GitHub thật; Verified gần bão hoà.
LiveCodeBench: liên tục thêm đề mới để tránh nhiễm dữ liệu.
Aider Polyglot: sửa code trên nhiều ngôn ngữ.

SWE-bench Verified / Pro: real GitHub issues; Verified is near saturation.
LiveCodeBench: keeps adding fresh problems to avoid contamination.
Aider Polyglot: code editing across many languages.

Agent và dùng toolAgents and tool use

τ²-bench: chăm sóc khách hàng, tuân thủ chính sách, người dùng mô phỏng.
BrowseComp: tìm thông tin cực khó trên web.
GAIA: trợ lý tổng hợp tìm kiếm, đọc file, tính toán.
WANDR: thu thập dữ liệu quy mô lớn (Perplexity).
Vending-Bench: độ nhất quán qua hàng nghìn bước.

τ²-bench: customer service, policy compliance, simulated users.
BrowseComp: very hard-to-find web information.
GAIA: general assistant tasks mixing search, files, math.
WANDR: large-scale data collection (Perplexity).
Vending-Bench: coherence over thousands of steps.

Ngữ cảnh dài và đa phương thứcLong context and multimodal

MRCR, RULER: tìm và nối thông tin trong văn bản rất dài.
MMMU: câu hỏi đại học kèm hình.
ScreenSpot-Pro: định vị phần tử giao diện, nền của computer use.

MRCR, RULER: finding and linking facts in very long text.
MMMU: college-level questions with images.
ScreenSpot-Pro: locating UI elements, the base of computer use.

Con người, thời gian, an toànHumans, time, safety

LMArena: bỏ phiếu mù, đo độ ưa thích.
METR time horizon: độ dài task model làm được với xác suất 50%.
Prompt injection: tỉ lệ bị tấn công thành công (ví dụ Gray Swan).
Behavioral audit: hành vi lệch mục tiêu, trung thực.

LMArena: blind votes, measures preference.
METR time horizon: task length a model completes at 50% success.
Prompt injection: attack success rate (e.g. Gray Swan).
Behavioral audits: misalignment and honesty.

Chi phí, chỉ số, ngôn ngữCost, indices, language

Chi phí và token mỗi task, độ trễ: không có trong ảnh, nhưng là trụ cột lập luận của Anthropic.
Artificial Analysis Index: Opus 5.5 đạt 58, Fable 5.1 và Astra cùng 53.
MMMLU, VMLU: đa ngôn ngữ; VMLU dành riêng cho tiếng Việt.

Cost and tokens per task, latency: absent from the image, yet central to Anthropic's case.
Artificial Analysis Index: Opus 5.5 at 58, Fable 5.1 and Astra at 53.
MMMLU, VMLU: multilingual; VMLU is Vietnamese-specific.

Bảng đánh đổiTrade-off table

Đánh giá định tính dựa trên phương pháp của từng benchmark, để định hướng.Qualitative judgments from each benchmark's method, for orientation.

Benchmark	Cách chấmGrading	Sát việc thậtReal-work fit	Độ nhiễuNoise	Nhạy cấu hìnhConfig sensitivity	Tự tái lậpReproducible
Terminal-Bench 4.0	Script kiểm tra	Cao	Trung bình	Cao	Dễ
FrontierCode	Chuẩn merge	Rất cao	Cao	Trung bình	Trung bình
CursorBench	Task mơ hồ	Rất cao	Trung bình	Trung bình	Khó
GDPval-AA	So cặp → Elo	Cao	Thấp	Thấp	Khó
AutomationBench	Trạng thái app	Rất cao	Trung bình	Cao	Khó
HLE	Khớp đáp án	Thấp	Thấp	Cao (tool)	Dễ
Terminal-Bench-Science	Script kiểm tra	Cao	Cao	Cao	Dễ
OSWorld 2.0	Checkpoint	Cao	Trung bình	Cao (partial/strict)	Trung bình
Chartography	Dung sai chuyên gia	Cao	Cao (100 câu)	Rất cao (tool)	Dễ
Terminal-Bench 4.0	Check script	High	Medium	High	Easy
FrontierCode	Merge bar	Very high	High	Medium	Medium
CursorBench	Vague tasks	Very high	Medium	Medium	Hard
GDPval-AA	Pairwise → Elo	High	Low	Low	Hard
AutomationBench	App end state	Very high	Medium	High	Hard
HLE	Answer match	Low	Low	High (tools)	Easy
Terminal-Bench-Science	Check script	High	High	High	Easy
OSWorld 2.0	Checkpoints	High	Medium	High (partial/strict)	Medium
Chartography	Expert tolerance	High	High (100 items)	Very high (tools)	Easy

Anti-patternsAnti-patterns

Sai lầmMistake	Vì sao saiWhy it's wrong	Sửa thế nàoFix
So số hai hãng như cùng một lượt chạy	Harness, effort, phiên bản đề khác nhau	Chỉ so trong cùng bảng hoặc leaderboard độc lập
Coi chênh 1–2 điểm là thắng	Nằm trong sai số	Chỉ kết luận khi chênh lớn hơn 2×SE
Đọc OSWorld partial như tỉ lệ hoàn thành	Partial tính cả việc làm dở	Hỏi số strict
Chọn theo điểm có tool, triển khai không tool	Chênh có thể gấp ba	Dùng điểm khớp cấu hình thật
Bỏ qua effort và chi phí	Số công bố là ở effort cao nhất	Xem điểm theo chi phí ở effort bạn dùng
Quy Elo sang phần trăm	Elo tương đối theo nhóm	Đổi chênh Elo sang xác suất thắng
Tin benchmark đã bão hoà	Khác biệt chỉ còn là nhiễu	Chuyển sang bản khó hơn hoặc eval riêng
Bỏ qua chú thích dưới bảng	Chú thích chứa điều kiện chạy	Đọc chú thích trước, số sau
Comparing two vendors' numbers as one run	Harness, effort, test version differ	Compare within one table or independent boards
Treating a 1–2 point gap as a win	It's within error	Conclude only past 2×SE
Reading OSWorld partial as completion	Partial counts unfinished work	Ask for strict
Choosing on tools scores, deploying without	The gap can be threefold	Use the score matching your config
Ignoring effort and cost	Published numbers are top effort	Read score-vs-cost at your effort
Converting Elo to percent	Elo is pool-relative	Convert gaps to win probability
Trusting saturated benchmarks	Differences are just noise	Use harder versions or your own eval
Skipping the footnotes	Footnotes hold run conditions	Footnotes first, numbers second

Ba câu cần nhớThree things to remember

Một điểm benchmark chỉ có nghĩa khi đi kèm effort, harness, tool và cách chấm.
Chênh lệch nhỏ hơn sai số là hoà; khi hoà, chọn theo chi phí và eval của bạn.
Bộ eval 30 ca từ việc thật của bạn đáng tin hơn mọi bảng điểm công khai.

A benchmark score only means something alongside effort, harness, tools and grading.
A gap smaller than the error is a tie; when tied, choose on cost and your own eval.
A 30-case eval from your real work beats any public score table.