Cùng một câu: số token bản tiếng Anh, rồi bản tiếng Việt qua ba thế hệ tokenizer.Same sentence: English token count, then Vietnamese across three tokenizer generations.
Token và tokenizerTokens and tokenizers
Biểu diễnRepresentationModel không đọc chữ mà đọc các mảnh văn bản đã đánh số. Tiếng Việt bị cắt vụn hơn tiếng Anh, mức chênh tuỳ tokenizer.Models read numbered chunks of text, not characters. Vietnamese gets chopped finer than English, by a margin that depends on the tokenizer.
- Dùng choUse it for
- Ước chi phí, chọn model, hiểu lỗi đếm ký tựEstimating cost, choosing a model, explaining character errors
- ĐượcGain
- Từ vựng hữu hạn biểu diễn mọi văn bản; chuỗi ngắn hơn ~4 lần so với cắt theo ký tựA finite vocabulary covers any text; sequences ~4× shorter than characters
- MấtLose
- Tiếng Việt tốn ×1,1–4; model mù ký tự; văn bản NFD tốn gấp 2–2,5 lầnVietnamese costs ×1.1–4; the model is blind to characters; NFD text costs 2–2.5× more
Chọn tokenizer theo mảnh từ là đổi sự công bằng giữa các ngôn ngữ và khả năng nhìn từng ký tự lấy chuỗi ngắn hơn, nghĩa là model nhanh và rẻ hơn.Choosing subword tokenization trades fairness across languages and character-level visibility for shorter sequences, which means a faster, cheaper model.
Dấu hiệu nhận biết:Telltale sign: lỗi nằm ở cấp ký tự, hoặc hoá đơn cao hơn dự toán tính theo số từ.errors at the character level, or a bill higher than a per-word estimate.