Đo cái thật sự quan trọng, và đo cho trung thực.Measure what matters, and measure it honestly.

Mười hai khái niệm để biết một con số eval có thật hay không, và có nói gì về người dùng hay không. Chia làm bốn nhóm theo câu hỏi mà mỗi nhóm trả lời.Twelve concepts for telling whether an eval number is real, and whether it says anything about your users. Grouped by the question each one answers.

89% lên 92%. Thật hay nhiễu?89% to 92%. Real or noise?

Kéo số case để xem khoảng tin cậy 95% co lại. Phép tính coi hai lần chạy là độc lập; kiểm định ghép cặp trên cùng case thường nhạy hơn.Drag the case count to watch the 95% intervals shrink. The test treats the two runs as independent; a paired test on the same cases is usually more sensitive.

n =100

Chọn cái nàoWhich one to use

Đi từ trên xuống, dừng ở câu đầu tiên đúng với bạn.Read top to bottom and stop at the first line that fits.

+3 điểm có thật không?Is +3 points real?
Khoảng tin cậy và kiểm định ghép cặp.Confidence intervals and a paired test.
03Sample size
Điểm tổng ổn, một thị trường phàn nàn?Overall fine, one market complains?
Báo theo slice, kèm n.Report per slice, with n.
02Slices 03Sample size
Người chấm hiểu “tốt” khác nhau?Graders disagree on what's good?
Viết lại rubric, đo mức đồng thuận.Rewrite the rubric, measure agreement.
04Rubric 09Agreement
Muốn biết A hay B tốt hơn?Want to know if A beats B?
So cặp, luôn đảo thứ tự.Compare in pairs, always swap order.
07Pairwise 06Judge bias
Judge đủ tin để chặn ship chưa?Can this judge gate releases?
Nhãn người, agreement, kiểm tra bias, rồi hiệu chỉnh.Human labels, agreement, a bias audit, then calibration.
08Human labels 09Agreement 06Judge bias 05LLM judge
Hệ thống là RAG hoặc agent?Is it RAG or an agent?
Thêm phép đo riêng cho kiến trúc.Add the architecture-specific metric.
10Groundedness 11Trajectory
Golden set đã cũ hoặc bị rò rỉ?Golden set stale or leaked?
Đánh phiên bản, chặn contamination, làm mới định kỳ.Version it, block contamination, refresh on a schedule.
01Golden set
Offline cao, production tệ hơn?Offline high, production worse?
Mẫu ngẫu nhiên, chỉ số guardrail, A/B đúng cách.Random sampling, guardrail metrics, A/B done right.
12Online eval 02Slices

Mười hai khái niệmThe twelve concepts

Màu là nhóm. Ô có viền màu là câu đánh đổi: thứ bạn chấp nhận mất để có thứ bạn cần.Colour is the group. The tinted box is the trade-off: what you accept losing to get what you need.

Golden set

Dữ liệuData

Giữ golden set đáng tin qua nhiều tháng: đánh phiên bản, chặn rò rỉ, làm mới.Keeping a golden set trustworthy over months: versioning, leaks, refresh.

Phần cơ bản → Evals 101 §3.1Basics → Evals 101 §3.1

Phiên bảnVersion: Ghim cả case, rubric và bộ chấm; đổi gì cũng thành bản mới có changelog, rồi chạy lại baseline trên đó.Pin cases, rubric and grader together; any change is a new version with a changelog, and the baseline is re-run on it.
Rò rỉLeaks: Không chép case vào ví dụ few-shot; holdout đã bị đọc thì thay mới.Never copy cases into few-shot examples; replace holdout cases once they've been read.
Làm mớiRefresh: Mỗi tháng hoặc quý, so tỷ lệ tag với traffic thật; loại case lỗi thời bằng phiên bản mới.Monthly or quarterly, compare the tag mix with real traffic; retire outdated cases in a new version.

Slices

Dữ liệuData

Báo điểm theo từng phân đoạn: ngôn ngữ, độ dài context, loại tác vụ.Scores reported per segment: language, context length, task type.

Chọn chia slice là đổi độ chắc chắn thống kê của từng con số lấy khả năng biết lỗi nằm ở đâu.Choosing to slice trades statistical certainty in each number for knowing where the failure is.

Dùng choUse for: Sản phẩm đa ngôn ngữ, đầu vào dài ngắn khác nhau, luồng rủi ro cao.Multilingual products, inputs of varying length, high-risk flows.
ĐượcGain: Lộ ra hồi quy mà trung bình che đi; chỉ đúng chỗ cần sửa.Exposes regressions the average hides; points at what to fix.
MấtLose: Slice nhỏ thì nhiễu; theo dõi nhiều slice thì rất dễ có báo động giả.Small slices are noisy; track many and false alarms become likely.

Dấu hiệuSignal Điểm tổng ổn nhưng một thị trường liên tục phàn nàn.The overall score is fine but one market keeps complaining.

Sample size

Dữ liệuData

Số case quyết định sai số. Ở n = 100, chênh 3 điểm nằm gọn trong nhiễu.The number of cases sets the error bars. At n = 100, a 3-point gap is inside the noise.

Chọn tập lớn là đổi chi phí gán nhãn và thời gian chạy lấy khả năng phân biệt khác biệt nhỏ.Choosing a large set trades labelling cost and runtime for telling small differences apart.

Dùng choUse for: Quyết định ship dựa trên mức tăng nhỏ, lập ngân sách gán nhãn, đọc slice.Ship decisions on small gains, budgeting labels, reading slices.
ĐượcGain: Không ship hay quay lui vì nhiễu; biết trước cần bao nhiêu case.No shipping or rolling back on noise; know in advance how many cases you need.
MấtLose: Tốn tiền gán nhãn; không chữa được tập bị lệch; case trùng template làm khoảng tin cậy hẹp giả.Costs labelling; can't fix a skewed set; near-duplicate cases fake narrow intervals.

Dấu hiệuSignal Câu hỏi “+3% có thật không?”.The question “is +3% real?”.

Rubric

Chấm điểmGrading

Hướng dẫn chấm viết ra bằng chữ: tiêu chí tách rời, mỗi mức có ví dụ thật.A written grading guide: separate criteria, each level with a real example.

Chọn rubric là đổi sự linh hoạt của phán đoán tổng thể lấy tính nhất quán giữa các người chấm.Choosing a rubric trades the flexibility of holistic judgement for consistency between graders.

Dùng choUse for: Đầu ra mở, prompt cho LLM judge, đào tạo người gán nhãn.Open-ended outputs, LLM judge prompts, training annotators.
ĐượcGain: Kết quả lặp lại được; biết tiêu chí nào tụt; pass/fail đồng thuận cao hơn thang 1–10.Repeatable; shows which criterion dropped; pass/fail agrees far better than 1–10.
MấtLose: Viết trước khi đọc dữ liệu thì đo sai thứ; tiêu chí mơ hồ vẫn là cảm tính.Written before reading data, it measures the wrong thing; vague criteria are still vibes.

Dấu hiệuSignal “Tôi thấy câu này tốt nhưng không giải thích được.”“I think it's good but I can't say why.”

LLM judge

Chấm điểmGrading

Hiệu chỉnh judge đủ tốt để làm điều kiện chặn ship.Calibrating a judge well enough to gate releases.

Phần cơ bản → Evals 101 §3.3Basics → Evals 101 §3.3

NhãnLabels: 100–200 nhãn người, đủ case trượt thật cho TPR; tách dev để chỉnh, test để báo.100–200 human labels with enough true fails for TPR; a dev split to tune, a test split to report.
Mục tiêuTargets: Đặt TPR/TNR theo giá của từng loại lỗi; trần là mức đồng thuận người–người.Set TPR/TNR from the cost of each error; the ceiling is human–human agreement.
Đo lạiRecheck: Sau mỗi lần đổi model, prompt, rubric; mỗi tháng 30–50 mẫu production mới.After any model, prompt or rubric change; 30–50 fresh production samples each month.

Judge bias

Kiểm định bộ chấmTrusting the grader

Lỗi hệ thống của judge: ưu ái vị trí, ưu ái câu dài, ưu ái model cùng họ.Systematic judge errors: position, verbosity, and own-family preference.

Chọn kiểm tra thiên lệch là đổi gấp đôi chi phí chấm lấy kết quả không bị thứ tự trình bày quyết định.Choosing to audit for bias trades double the grading cost for results the presentation order doesn't decide.

Dùng choUse for: Mọi phép so cặp, chọn model judge, khi judge và model cùng nhà cung cấp.Every pairwise comparison, choosing a judge, judge and model from one vendor.
ĐượcGain: Loại chiến thắng giả; biết judge tin được đến đâu.Removes fake wins; tells you how far the judge can be trusted.
MấtLose: Đảo thứ tự làm chi phí gấp đôi và chỉ khử được thiên lệch vị trí.Swapping doubles cost and only removes position bias.

Dấu hiệuSignal Bản dài hơn, hoặc bản đứng trước, luôn thắng.The longer answer, or the first one shown, always wins.

Pairwise

Chấm điểmGrading

Đưa A và B, hỏi cái nào tốt hơn. Kết quả là tỷ lệ thắng.Show A and B, ask which is better. The result is a win rate.

Chọn so cặp là đổi một điểm tuyệt đối theo dõi được qua thời gian lấy độ nhạy khi so hai phiên bản.Choosing pairwise trades an absolute score you can track over time for sensitivity between two versions.

Dùng choUse for: So hai phiên bản prompt hoặc model, tiêu chí chủ quan, xếp hạng.Comparing two prompt or model versions, subjective criteria, rankings.
ĐượcGain: So sánh nhất quán hơn chấm điểm; không bị co cụm vào một mức.More consistent than rating; no collapse onto one value.
MấtLose: Chỉ tương đối: A thắng B không có nghĩa A đủ tốt; khó theo dõi theo thời gian.Relative only: A beating B doesn't make A good enough; hard to track over time.

Dấu hiệuSignal Phiên bản nào cũng được chấm quanh 4/5.Every version scores around 4/5.

Human labels

Kiểm định bộ chấmTrusting the grader

Nhãn do người hiểu nghiệp vụ gán trên một mẫu. Chuẩn để hiệu chỉnh mọi bộ chấm.Labels from domain experts on a sample. The standard every grader is calibrated against.

Chọn nhãn người là đổi tốc độ và chi phí lấy một chuẩn tham chiếu mà máy không thể tự sinh ra.Choosing human labels trades speed and cost for a reference standard machines can't generate.

Dùng choUse for: Trước khi tin judge mới, lĩnh vực chuyên môn, phân tích lỗi ban đầu.Before trusting a new judge, specialist domains, early error analysis.
ĐượcGain: Ground truth duy nhất máy không tự tạo được; lộ ra kiểu lỗi mới.The only ground truth machines can't make; surfaces new failure modes.
MấtLose: Chậm, đắt; người cũng mệt và sai; nhãn hết hạn khi sản phẩm đổi.Slow, expensive; people tire and err; labels expire as the product changes.

Dấu hiệuSignal Judge vừa viết xong và chưa ai kiểm.The judge was just written and nobody has checked it.

Agreement

Kiểm định bộ chấmTrusting the grader

Mức đồng ý vượt trên may mắn, thường đo bằng Cohen's kappa.Agreement beyond chance, usually measured with Cohen's kappa.

Chọn đo agreement là đổi thêm một lượt gán nhãn kép lấy bằng chứng rằng nhãn của bạn có ý nghĩa.Choosing to measure agreement trades a round of double labelling for evidence your labels mean something.

Dùng choUse for: Kiểm rubric, đặt trần cho judge, đối chiếu judge với người.Testing a rubric, setting the judge's ceiling, checking judge against humans.
ĐượcGain: Cho trần thực tế: judge không thể đúng hơn mức chuyên gia đồng ý với nhau.Gives a real ceiling: a judge can't beat expert-to-expert agreement.
MấtLose: Lớp mất cân bằng làm kappa thấp giả; một con số không chỉ ra bất đồng ở đâu.Class imbalance deflates kappa; one number doesn't show where disagreements are.

Dấu hiệuSignal Câu hỏi “judge khớp với người 80% có tốt không?”.The question “is 80% judge–human agreement good?”.

Groundedness

Phạm viScope

Mọi khẳng định trong đầu ra phải truy được về một đoạn nguồn.Every claim in the output must trace back to a source span.

Chọn đo groundedness là đổi khả năng tổng hợp và suy luận tự do lấy việc mọi câu đều truy vết được về nguồn.Choosing groundedness trades free synthesis and inference for every sentence being traceable to a source.

Dùng choUse for: Chatbot trên tài liệu nội bộ, tóm tắt, trợ lý pháp lý và y tế.Bots over internal docs, summarisation, legal and medical assistants.
ĐượcGain: Bắt bịa đặt ở từng khẳng định; tách lỗi truy xuất khỏi lỗi sinh.Catches invention claim by claim; separates retrieval from generation failures.
MấtLose: Có nguồn chưa chắc đã đúng; không bắt được việc bỏ sót thông tin.Grounded isn't correct; it can't catch omissions.

Dấu hiệuSignal Người dùng báo bot “bịa ra chính sách”.Users report the bot “made up a policy”.

Trajectory

Phạm viScope

Với agent, chấm cả chuỗi hành động chứ không chỉ kết quả cuối.For agents, grade the whole action sequence, not just the final result.

Chọn chấm trajectory là đổi sự tự do tìm đường của agent lấy khả năng kiểm soát chi phí và rủi ro ở từng bước.Choosing trajectory grading trades the agent's freedom to find its own path for control over cost and risk at every step.

Dùng choUse for: Agent có tool tốn tiền hoặc có tác dụng phụ, agent lập trình, gỡ lỗi agent.Agents with costly or side-effecting tools, coding agents, agent debugging.
ĐượcGain: Bắt “đúng nhờ may”; kiểm soát chi phí và hành động nguy hiểm.Catches “right by luck”; controls cost and dangerous actions.
MấtLose: Nhiều đường đi đều đúng; trace dài làm judge lạc; agent rất bất định.Many valid paths; long traces confuse judges; agents are highly non-deterministic.

Dấu hiệuSignal Kết quả đúng nhưng hoá đơn API gấp ba.Right answer, but the API bill tripled.

Online eval

Phạm viScope

Đọc đúng con số production: 78% ở đây thường là điểm judge trên mẫu log, không phải độ chính xác đã xác nhận.Reading production numbers correctly: a 78% here is usually a judge score on sampled logs, not verified accuracy.

Phần cơ bản → Evals 101 §3.6Basics → Evals 101 §3.6

Lấy mẫuSample: Tỷ lệ lấy từ mẫu ngẫu nhiên đủ cỡ; mẫu có chủ đích chỉ để săn lỗi.Take the rate from a random sample sized for your interval; targeted samples are for hunting failures.
GuardrailGuardrails: Một chỉ số chính, vài chỉ số không được xấu đi: độ trễ p95, chi phí, tỷ lệ chuyển người thật.One primary metric, a few that must not get worse: p95 latency, cost, escalation rate.
A/BA/B: Chia theo người dùng; chốt cỡ mẫu và thời gian trước; kiểm tra tỷ lệ chia.Randomise by user; fix size and duration up front; check the split ratio.

Bảng đánh đổiTrade-off table

Không khái niệm nào tốt trên mọi trục. Vì vậy chúng luôn đi theo bộ.No concept wins on every axis. That's why they come as a set.

Khái niệmConcept	Chi phí dựngSetup cost	Chi phí mỗi lần chạyCost per run	Độ trễ phản hồiFeedback latency	Tin được khi dùng riêngReliable on its own
01 Golden set	CaoHigh	ThấpLow	PhútMinutes	Trung bìnhMedium
02 Slices	ThấpLow	~0~0	PhútMinutes	Thấp nếu slice nhỏLow for small slices
03 Sample size	ThấpLow	Tăng theo nGrows with n	——	Không đứng riêngCan't stand alone
04 Rubric	Trung bìnhMedium	~0~0	——	Trung bìnhMedium
05 LLM judge	Trung bìnhMedium	ThấpLow	Giây–phútSeconds–minutes	Thấp nếu chưa hiệu chỉnhLow until calibrated
06 Judge bias	ThấpLow	×2 judge×2 judge	PhútMinutes	Không đứng riêngCan't stand alone
07 Pairwise	ThấpLow	Bình phương số bảnSquare of versions	PhútMinutes	Chỉ tương đốiRelative only
08 Human labels	Trung bìnhMedium	CaoHigh	Giờ–ngàyHours–days	CaoHigh
09 Agreement	ThấpLow	×2 gán nhãn×2 labelling	GiờHours	Không đứng riêngCan't stand alone
10 Groundedness	Trung bìnhMedium	Trung bìnhMedium	PhútMinutes	Trung bình (không bắt được bỏ sót)Medium (misses omissions)
11 Trajectory	CaoHigh	Cao (chạy lặp)High (repeat runs)	Phút–giờMinutes–hours	Trung bìnhMedium
12 Online eval	CaoHigh	Thấp–trung bìnhLow–medium	NgàyDays	Thật nhưng ít nhãnReal but unlabelled

Bộ tối thiểu thường gặp: golden set + rubric + judge, được kiểm bằng nhãn người + agreement + kiểm tra thiên lệch.The usual minimum set: golden set + rubric + judge, validated by human labels + agreement + a bias audit.

Các hàng 01, 05, 12 chấm những cách làm trong topic này. So với code grader, regression và offline eval: xem Evals 101 §4.Rows 01, 05 and 12 rate the practices in this topic. Against code graders, regression and offline eval: see Evals 101 §4.

Sai lầm thường gặpCommon mistakes

Sai lầmMistake	Vì sao saiWhy it's wrong	Sửa thế nàoFix
So hai phiên bản bằng hai khoảng tin cậy riêng lẻComparing versions by separate intervals	Bỏ mất thông tin ghép cặpThrows away the pairing	Kiểm định ghép cặp trên cùng tập casePaired test on the same cases
Báo TPR/TNR trên chính nhãn đã dùng để chỉnh judgeReporting judge TPR/TNR on its tuning labels	Judge trông tốt hơn thực tếThe judge looks better than it is	Tách nhãn dev và testSplit labels into dev and test
Chỉ báo điểm tổngReporting only the overall score	Trung bình che slice đang hỏngThe average hides the broken slice	Báo theo slice, kèm nReport per slice, with n
Chép case golden set vào few-shotCopying golden-set cases into few-shot examples	Bài kiểm tra rò vào hệ thốngThe test leaks into the system	Kho ví dụ few-shot riêngA separate few-shot pool
So cặp một chiềuOne-directional pairwise	Thứ tự quyết định kết quảOrder decides the result	Đảo thứ tự, bất đồng là hoàSwap; disagreement is a tie
Chấm agent chỉ theo kết quả cuốiGrading agents on the final answer only	Bỏ sót đường đi tốn kém, nguy hiểmMisses costly or dangerous paths	Ràng buộc trajectory, chạy lặpTrajectory constraints, repeat runs
Lấy mẫu có chủ đích làm tỷ lệ đạt productionReporting a targeted sample as the production rate	Mẫu có chủ đích chứa nhiều lỗi hơn thực tếTargeted samples over-represent failures	Ước lượng tỷ lệ từ mẫu ngẫu nhiênEstimate the rate from a random sample
Dừng A/B test ngay khi thấy có vẻ có ý nghĩaStopping an A/B test once it looks significant	Xem đi xem lại làm tăng dương tính giảRepeated peeking inflates false positives	Chốt cỡ mẫu và thời gian từ trướcFix size and duration in advance

Các sai lầm cơ bản (thang 1–10, judge chưa đối chiếu với người, sửa nhãn cho test xanh, viết bộ chấm trước khi đọc đầu ra) nằm ở Evals 101 §5.The basic mistakes (1–10 scales, unchecked judges, editing labels to go green, writing graders before reading outputs) are in Evals 101 §5.

Ba câu cần nhớThree things to remember

Một con số không đi kèm n và khoảng tin cậy chưa phải là bằng chứng.A number without n and a confidence interval is not evidence yet.
Bộ chấm tự động chỉ đáng tin bằng mức nó đồng ý với người, và người chỉ đáng tin bằng mức họ đồng ý với nhau.An automated grader is only as trustworthy as its agreement with humans, and humans only as trustworthy as their agreement with each other.
Production là bài kiểm tra cuối cùng; mọi lỗi nó tìm ra phải quay về golden set.Production is the final test; every failure it finds belongs in the golden set.