Route theo độ khóRoute by difficulty

Trả tiền theo độ khó của từng request, không theo request khó nhất.Pay for how hard each request is, not for your hardest one.

Một router nhỏ chấm độ khó, rồi gửi mỗi request tới tầng model rẻ nhất vẫn làm được việc. Ảnh gốc nói rẻ hơn 10 lần — đúng, nhưng chỉ khi so với phương án đắt nhất và khi mỗi tầng đều qua eval.A small router rates difficulty, then sends each request to the cheapest model tier that can still do the job. The original says 10× cheaper — true, but only against the most expensive option, and only if every tier passes its evals.

Lưu lượng không phải hoá đơnTraffic is not the bill

1.000 request, mỗi request 2K token vào + 500 ra, giá niêm yết Anthropic. Đổi phân bố và mốc so sánh để xem khoản tiết kiệm co giãn thế nào.1,000 requests, each 2K tokens in + 500 out, Anthropic list prices. Change the mix and the baseline to see how the savings stretch.

Phân bố dễ / vừa / khó / khó nhấtMix easy / medium / hard / hardest
So vớiCompared with
Lưu lượngTraffic
Hoá đơnBill
10.1×
rẻ hơncheaper than all-Fable
$4.46 so vớivs. $45.00

Phần Haiku gánh phần lớn lưu lượng nhưng gần như biến mất trong hoá đơn. Tiền thật nằm ở Sonnet và Opus. Chưa tính chi phí chạy lại khi tầng rẻ trả lời hỏng.Haiku carries most of the traffic but nearly vanishes from the bill. The real money is in Sonnet and Opus. Retries after a cheap tier fails are not included.

Chọn cái nàoWhich one to pick

Câu hỏi đầu tiên không phải "route thế nào" mà là "có cần route không".The first question isn't "how to route" but "do I need to route at all".

Không cần route khiSkip routing when

  • Tiết kiệm mỗi tháng thấp hơn công duy trì. 1.000 request/ngày trên Sonnet ≈ $270/tháng; route chỉ tiết kiệm ≈ $135.
  • Lưu lượng đồng nhất về loại việc và độ khó.
  • Chưa có eval để đo chất lượng.
  • Request đã tách sẵn theo tính năng — gán cố định mỗi endpoint một model.
  • Monthly savings are below the upkeep. 1,000 requests/day on Sonnet ≈ $270/month; routing saves only ≈ $135.
  • Traffic is uniform in task type and difficulty.
  • You have no evals to measure quality.
  • Requests are already split by feature — pin one model per endpoint.

Thử trước, theo thứ tựTry first, in order

  1. Một model, đúng tầng (bắt đầu với Sonnet 5.5)
  2. Prompt caching
  3. Batch API (giảm 50%)
  4. Route tĩnh theo endpoint
  1. One model, right tier (start with Sonnet 5.5)
  2. Prompt caching
  3. Batch API (50% off)
  4. Static routing by endpoint

Quyết định trong 30 giâyDecide in 30 seconds

  1. Tiết kiệm > công xây và duy trì?Savings > cost to build and maintain? Không: một model + caching, dừng.No: one model + caching, stop.
  2. Đã có eval theo loại việc?Evals per task type in place? Chưa: xây eval trước.No: build evals first.
  3. Request đã tách theo endpoint?Requests split by endpoint? Có: route tĩnh.Yes: static routing.
  4. Đầu ra tự kiểm tra được?Output self-checkable? Có: cascade — chạy rẻ, hỏng thì leo tầng. Không: router chấm độ khó.Yes: cascade — run cheap, escalate on failure. No: difficulty router.

Cơ chếHow it flows

Nét đứt là quyết định lúc chạy: router chọn đường cho từng request. Cổng eval ở dưới mỗi tầng là điều kiện để con số tiết kiệm có giá trị.Dashed lines are runtime decisions: the router picks a path per request. The eval gate under each tier is what makes the savings number mean anything.

Router sends requests to Haiku, Sonnet, Opus or Fable; each tier passes through an eval gate 1.000 requests router easy · medium · hard · hardest Haiku 5.5 70% · $0.32 Sonnet 5.5 20% · $1.80 Opus 5.5 8% · $1.44 Fable 5.1 2% · $0.90 eval gate

Tra cứu từng khái niệmConcept reference

Số 1–4 là thứ tự độ khó tăng dần. Thanh nhỏ trên mỗi tầng so phần lưu lượng với phần hoá đơn trong ví dụ của ảnh.Numbers 1–4 are rising difficulty. The small bars on each tier compare its traffic share with its bill share in the image's example.

Router

điều phốicontrol

Một model nhỏ hoặc vài luật đứng trước mọi request, gắn nhãn độ khó rồi chọn model.A small model or a few rules in front of every request, labeling difficulty and picking the model.

Chi phíCost~4%

Đổi thêm một bước trễ và một nguồn lỗi im lặng lấy khả năng trả tiền theo độ khó từng request.Trades an extra hop of latency and a silent failure mode for paying by each request's difficulty.

Dùng choUse for

  • Chatbot hỗ trợ nhiều loại câu hỏi
  • Trợ lý nội bộ đa năng
  • API nhận prompt tự do
  • Mixed-question support chat
  • General internal assistants
  • APIs taking free-form prompts

ĐượcGain

  • $45 xuống ~$4,66, đã tính router
  • Router chỉ ~$0,20/1.000 request
  • Thay model từng tầng độc lập
  • $45 down to ~$4.66, router included
  • Router only ~$0.20 per 1,000
  • Swap each tier independently

MấtLose

  • Thêm độ trễ ở mọi request
  • Câu ngắn vẫn có thể rất khó
  • Route sai không báo lỗi
  • Added latency on every request
  • Short questions can still be hard
  • Misroutes raise no error

Dấu hiệu: "đổi mật khẩu" và "vì sao hoá đơn tăng gấp ba" đi qua cùng một endpoint.Sign: "reset my password" and "why did my bill triple" hit the same endpoint.

1

Haiku 5.5

tầng dễeasy tier

$0,10 / $0,50 mỗi triệu token. Rẻ bằng 1/100 Fable cho cùng một request.$0.10 / $0.50 per million tokens. 1/100 the cost of Fable for the same request.

Lưu lượngTraffic70%Hoá đơnBill7%

Đổi trần năng lực thấp lấy chi phí gần như bằng không.Trades a low capability ceiling for near-zero cost.

Dùng choUse for

  • Phân loại ý định
  • Trích xuất trường dữ liệu
  • FAQ có tài liệu trong prompt
  • Làm chính router
  • Intent classification
  • Field extraction
  • FAQ with source in prompt
  • Being the router

ĐượcGain

  • 700 request chỉ $0,315
  • Đủ rẻ để tự kiểm tra thêm một lượt
  • 700 requests for $0.315
  • Cheap enough for an extra self-check

MấtLose

  • Yếu ở suy luận nhiều bước
  • Giá ×5 khi prompt > 100K token
  • Dồn thêm xuống đây gần như không giảm hoá đơn
  • Weak at multi-step reasoning
  • 5× price above 100K-token prompts
  • Pushing more here barely cuts the bill

Dấu hiệu: đáp án kiểm tra được bằng schema hoặc so khớp.Sign: the answer can be checked by schema or exact match.

2

Sonnet 5.5

tầng vừamedium tier

$2 / $10, context 1M token. Tầng chiếm nhiều tiền nhất sau khi route.$2 / $10, 1M-token context. The biggest cost line after routing.

Lưu lượngTraffic20%Hoá đơnBill40%

Đổi một phần độ sâu suy luận lấy mức giá bằng nửa Opus.Trades some reasoning depth for half the price of Opus.

Dùng choUse for

  • Sửa code trong một file
  • RAG tổng hợp nhiều đoạn
  • Soạn nội dung theo ngữ cảnh
  • Code changes within one file
  • RAG across several passages
  • Context-specific drafting

ĐượcGain

  • 1/5 giá Fable, 1/2 giá Opus
  • Cache read chỉ $0,10/1M
  • 1/5 of Fable, 1/2 of Opus
  • Cache reads only $0.10/M

MấtLose

  • Ranh giới vừa/khó dễ nhầm nhất
  • Đuối ở agent nhiều bước
  • Medium/hard boundary misroutes most
  • Struggles with multi-step agents

Dấu hiệu: cần ngữ cảnh và vài bước suy luận, không cần lập kế hoạch dài.Sign: needs context and a few reasoning steps, not long planning.

3

Opus 5.5

tầng khóhard tier

$4 / $20. Gần ngang Fable 5.1 trên phần lớn việc với 40% giá — nên là trần mặc định.$4 / $20. Near Fable 5.1 on most work at 40% of the price — make it your default ceiling.

Lưu lượngTraffic8%Hoá đơnBill32%

Đổi gấp đôi chi phí Sonnet lấy độ tin cậy ở việc nhiều bước.Trades double the cost of Sonnet for reliability on multi-step work.

Dùng choUse for

  • Agent sửa nhiều file
  • Hợp đồng, báo cáo tài chính dài
  • Debug lỗi không ổn định
  • Multi-file coding agents
  • Long contracts, financial reports
  • Flaky-bug debugging

ĐượcGain

  • $0,018 thay vì $0,045 mỗi request
  • Cache read $0,20/1M cho vòng lặp agent
  • $0.018 instead of $0.045 per request
  • $0.20/M cache reads for agent loops

MấtLose

  • Gấp 40 lần Haiku
  • Chậm hơn các tầng dưới
  • 40× Haiku
  • Slower than lower tiers

Dấu hiệu: thứ tự các bước quan trọng và cần chạy test rồi sửa lại.Sign: step order matters and the work needs test-and-fix loops.

4

Fable 5.1

tầng khó nhấthardest tier

$10 / $50. Trần năng lực cao nhất công khai; chỉ mở cho loại việc mà eval chứng minh Opus trượt.$10 / $50. The highest public ceiling; open it only for task types where evals show Opus failing.

Lưu lượngTraffic2%Hoá đơnBill20%

Đổi mức giá cao nhất lấy trần năng lực mà không tầng nào khác chạm tới.Trades the highest price for a ceiling no other tier reaches.

Dùng choUse for

  • Việc Opus trượt rõ trên eval
  • Nghiên cứu nhiều nguồn mâu thuẫn
  • Quyết định không có người duyệt
  • Work Opus clearly fails on evals
  • Research across conflicting sources
  • Decisions with no human review

ĐượcGain

  • Năng lực cao nhất
  • Cache read chỉ 2,5% giá vào
  • Highest capability
  • Cache reads at 2.5% of input

MấtLose

  • Gấp 100 lần Haiku
  • Router đẩy nhầm 5% lên đây: hoá đơn +40%
  • 100× Haiku
  • Misroute 5% up here: bill +40%

Dấu hiệu: bạn có số liệu, không chỉ cảm giác, rằng Opus không đủ.Sign: you have numbers, not a hunch, that Opus isn't enough.

Eval theo tầngPer-tier evals

cổng chất lượngquality gate

Mẫu request thật theo từng nhãn, chạy trên tầng được giao và tầng ngay trên, so khoảng chênh.Real request samples per label, run on the assigned tier and the tier above, comparing the gap.

Đổi công sức xây dữ liệu chấm điểm lấy quyền tin vào khoản tiết kiệm.Trades the effort of building graded data for the right to trust your savings.

Dùng choUse for

  • Trước khi bật routing
  • Khi có model mới
  • Khi hoá đơn lệch bất thường
  • Before turning routing on
  • When a new model ships
  • When the bill shifts oddly

ĐượcGain

  • "10×" thành con số kiểm chứng được
  • Bắt router trôi trước người dùng
  • "10×" becomes verifiable
  • Catches router drift before users

MấtLose

  • Tốn công với tác vụ mở
  • LLM-as-judge có thiên lệch
  • Effortful for open-ended tasks
  • LLM-as-judge has biases

Dấu hiệu: bạn chưa trả lời được "tầng rẻ kém hơn bao nhiêu phần trăm".Sign: you can't yet say "how many percent worse the cheap tier is".

Bảng đánh đổiTrade-off table

Chi phí / requestCost / request Trần năng lựcCeiling Nếu route sai vào đâyIf misrouted here Lưu lượng → hoá đơnTraffic → bill
Router+$0.0002—Lỗi lan sang mọi tầngErrors spread everywhere100% → ~4%
Haiku 5.5$0.00045ThấpLowSai, im lặngWrong, silently70% → 7%
Sonnet 5.5$0.009Trung bìnhMediumHỏng ca khó / thừa ca dễFails hard / overkill easy20% → 40%
Opus 5.5$0.018CaoHighLãng phí ×2 so với Sonnet2× waste vs. Sonnet8% → 32%
Fable 5.1$0.045Cao nhấtHighestLãng phí ×5 so với Sonnet5× waste vs. Sonnet2% → 20%
Eval theo tầngPer-tier evalsChạy định kỳPeriodic runs—Không có eval = không biết saiNo evals = no idea you're wrong—

Anti-patterns

Sai lầmMistakeVì sao saiWhy it's wrongSửa thế nàoFix
So với all-Fable để khoe tiết kiệmKhông ai chạy toàn bộ trên FableSo với phương án thực tế sẽ dùng
Route trước, eval sauKhông biết mất bao nhiêu chất lượngEval là điều kiện bật routing
Tối ưu tầng Haiku70% lưu lượng, 7% hoá đơnTập trung ranh giới Sonnet–Opus
Router phân vân thì chọn rẻCâu trả lời sai mà trôi chảyTự tin thấp → đẩy lên
Fable làm trần mặc địnhOpus 5.5 đủ với 40% giáOpus là trần; Fable mở theo eval
Bỏ qua chi phí, độ trễ routerTiết kiệm báo cáo cao hơn thậtTính router vào hoá đơn và SLA
Dùng model cho việc luật làm đượcThêm chi phí và lỗi vô íchRoute tĩnh theo endpoint trước
Eval một lần rồi để đóLưu lượng và model đổi, router trôiChạy lại theo lịch và khi đổi model
Comparing to all-Fable to show savingsNobody runs everything on FableCompare to what you'd actually use
Route first, evals laterYou don't know the quality lossEvals gate turning routing on
Optimizing the Haiku tier70% of traffic, 7% of billFocus on the Sonnet–Opus boundary
Router unsure, pick cheapFluent wrong answersLow confidence → go up
Fable as default ceilingOpus 5.5 covers it at 40%Opus is the ceiling; Fable per eval
Ignoring router cost and latencyReported savings exceed realCount the router in bill and SLA
A model for what rules can doCost and errors for nothingStatic routing by endpoint first
Evals set once, then forgottenTraffic and models driftRerun on schedule and model changes

Ba câu cần nhớThree things to remember

  1. Route chỉ đáng làm khi đã có eval.Không có eval, "rẻ hơn" chỉ có nghĩa là chưa biết đã mất gì.Routing is only worth it once you have evals.Without them, "cheaper" means you don't know what you lost.
  2. Tiết kiệm phụ thuộc mốc so sánh và phân bố lưu lượng.10 lần so với Fable còn khoảng 4 lần so với Opus 5.5.Savings depend on the baseline and the traffic mix.10× against Fable shrinks to about 4× against Opus 5.5.
  3. Tiền thật nằm ở tầng giữa.Tối ưu ranh giới Sonnet–Opus, không phải đẩy thêm xuống Haiku.The real money is in the middle tiers.Optimize the Sonnet–Opus boundary, not pushing more to Haiku.