04
Bài 4 · 1 phút
Token: cách AI đọc chữ
AI không đọc từng từ; nó đọc token (mẩu chữ), những miếng chữ nhỏ thường chỉ là một phần của từ.
Trước khi model đọc tin nhắn của bạn, chữ được cắt thành các token (mẩu chữ). Một từ tiếng Anh phổ biến như “the” là một token. Từ dài hoặc hiếm như “unbelievable” có thể bị cắt thành hai, ba mẩu.
Các ngôn ngữ không được đối xử ngang nhau. Cùng một câu, viết bằng tiếng Việt thường tốn nhiều token hơn tiếng Anh, vì model được học tiếng Việt ít hơn, lại thêm các dấu thanh làm chữ bị cắt vụn hơn.
Token quan trọng vì ba lý do. Dịch vụ AI trả phí tính tiền theo token. Mỗi model có giới hạn số token đọc được cùng lúc. Và cách cắt token lạ lùng giải thích những lỗi kỳ quặc, như đếm sai số chữ cái trong một từ.
Thử ngay bên dưới: gõ một câu và xem nó bị cắt thành token ra sao. Thử cả tiếng Việt nữa.
Nhìn chữ như AI nhìn
Gõ bất cứ thứ gì, hoặc bấm một mẫu. Mỗi ô màu là một token, đơn vị mà AI đọc và tính tiền.
- Ký tự
- 56
- Token
- 33
- ≈ Số từ
- 13
Trung bình khoảng 2,5 token mỗi từ. Tiếng Anh thường chỉ khoảng 1,3. Chữ có dấu, bảng chữ khác, emoji và code tốn nhiều token hơn, nên cùng một tin nhắn tiếng Việt sẽ lấp đầy bộ nhớ của AI (và hoá đơn của bạn) nhanh hơn. Thử bấm “Không dấu” để so sánh.
Chỉ là ước lượng: mỗi model có cách tách token khác nhau.
Làm ngay
Đo xem mỗi ngôn ngữ tốn bao nhiêu
- 1.Gõ một câu tiếng Anh vào công cụ đếm token ở trên.
- 2.Gõ cùng câu đó bằng tiếng Việt.
- 3.So sánh số token. Con số lớn hơn thì tốn tiền hơn và làm đầy bộ nhớ của model nhanh hơn.
Thuật ngữ trong bài
- Token
- Một mẩu chữ, thường là một phần của từ, mà AI đọc và viết. Giới hạn và giá tiền được tính theo token.
- LLM
- AI học từ khối lượng chữ khổng lồ để đoán từ tiếp theo, nhờ đó viết, tóm tắt, dịch và trò chuyện được.
- Context window
- Lượng chữ tối đa AI xem được trong một lần. Phần vượt quá sẽ bị quên trong cuộc trò chuyện đó.