Dịch máy là đoán token tiếp theo, có điều kiện là cả câu nguồn. Translation is next-token prediction, conditioned on the whole source.

Một classifier tí hon (kiểu CLD3) đọc n-gram ký tự và trả về xác suất cho từng ngôn ngữ, trong cỡ mili-giây.A tiny classifier (CLD3-style) reads character n-grams and returns a probability per language, in about a millisecond.

Chọn classifier tí hon là đổi độ chính xác trên câu ngắn lấy tốc độ mili-giây và chi phí gần bằng không.A tiny classifier trades accuracy on short input for millisecond speed and near-zero cost.

Dấu hiệu cần:You need it when: người dùng không chọn ngôn ngữ nguồn.the user didn't pick a source language.

Cắt văn bản thành subword và đổi thành ID. Google dùng WordPiece / SentencePiece; dấu ▁ đánh dấu khoảng trắng phía trước.Splits text into subwords and maps them to IDs. Google uses WordPiece / SentencePiece; ▁ marks a preceding space.

Chọn subword là đổi chuỗi token dài hơn lấy khả năng biểu diễn mọi từ, kể cả từ chưa từng thấy.Subwords trade longer token sequences for the ability to represent any word, even unseen ones.

Bẫy hay gặp:Common trap: tiếng Việt dạng NFD (copy từ PDF, macOS) cho token khác NFC. Chuẩn hoá NFC trước.Vietnamese in NFD (from PDFs, macOS) tokenizes differently from NFC. Normalize to NFC first.

Một token như <2es> bảo model dịch sang ngôn ngữ nào. Kiến trúc giữ nguyên, chỉ dữ liệu thay đổi (Johnson và cộng sự, 2017).A token like <2es> tells the model which language to produce. Same architecture, only the data changes (Johnson et al., 2017).

Chọn model đa ngôn ngữ là đổi một ít chất lượng ở cặp giàu dữ liệu lấy việc vận hành một model thay vì hàng trăm.One multilingual model trades a little quality on rich pairs for running one model instead of hundreds.

Lưu ý:Note: vị trí token tuỳ model — NLLB đặt ở đầu decoder (forced_bos_token_id), không phải đầu câu nguồn.placement varies — NLLB puts it at the decoder start (forced_bos_token_id), not before the source.

Đọc cả câu nguồn một lượt. Self-attention cho mỗi token nhìn mọi token khác, nên “bank” trong “river bank” và “bank account” ra hai vector khác nhau.Reads the whole source in one pass. Self-attention lets every token see every other, so “bank” in “river bank” and “bank account” get different vectors.

Chọn self-attention là đổi chi phí bậc hai theo độ dài câu lấy xử lý song song và tầm nhìn toàn câu.Self-attention trades quadratic cost in sentence length for parallelism and a whole-sentence view.

Mẹo:Tip: encoder chạy một lần mỗi câu; kết quả được dùng lại ở mọi bước decoder và mọi nhánh beam.the encoder runs once per sentence; its output is reused at every decoder step and in every beam.

Viết câu đích từng token một. Masked self-attention chỉ nhìn phần đã viết; cross-attention hỏi encoder “phần nào của câu nguồn liên quan lúc này”.Writes the target one token at a time. Masked self-attention sees only what's written; cross-attention asks the encoder “which part of the source matters now”.

Chọn giải mã tự hồi quy là đổi tốc độ lấy việc mỗi token được quyết định dựa trên toàn bộ những gì đã viết.Autoregressive decoding trades speed for each token being chosen in light of everything already written.

Thực tế:In practice: decoder là nút thắt độ trễ — năm 2020 Google dùng decoder RNN cho production vì nhanh hơn mà gần như không kém.the decoder is the latency bottleneck — in 2020 Google used an RNN decoder in production because it was faster with almost no loss.

Giữ song song k câu dở dang có tổng log-xác suất cao nhất, loại phần còn lại. Tất định — không lấy mẫu như ảnh gốc ghi.Keeps the k partial sentences with the highest total log-probability and prunes the rest. Deterministic — it does not sample, despite what the diagram says.

Chọn beam rộng hơn là đổi độ trễ lấy khả năng thoát lựa chọn cục bộ tồi — chỉ tới một ngưỡng.A wider beam trades latency for escaping bad local choices — only up to a point.

Bước bị thiếu sau đó:Missing step after it: detokenize — ghép subword, đổi ▁ thành khoảng trắng, trả lại thẻ HTML và placeholder.detokenize — join subwords, turn ▁ into spaces, restore HTML tags and placeholders.