L004 · AI nghĩ thế nào · 1 phút · Tương tác

Token: cách AI đọc chữ

AI không đọc từng từ; nó đọc token (mẩu chữ), những miếng chữ nhỏ thường chỉ là một phần của từ.

01 · Ý chính

Trước khi model đọc tin nhắn của bạn, chữ được cắt thành các token (mẩu chữ). Một từ tiếng Anh phổ biến như “the” là một token. Từ dài hoặc hiếm như “unbelievable” có thể bị cắt thành hai, ba mẩu.

Các ngôn ngữ không được đối xử ngang nhau. Cùng một câu, viết bằng tiếng Việt thường tốn nhiều token hơn tiếng Anh, vì model được học tiếng Việt ít hơn, lại thêm các dấu thanh làm chữ bị cắt vụn hơn.

Token quan trọng vì ba lý do. Dịch vụ AI trả phí tính tiền theo token. Mỗi model có giới hạn số token đọc được cùng lúc. Và cách cắt token lạ lùng giải thích những lỗi kỳ quặc, như đếm sai số chữ cái trong một từ.

Thử ngay bên dưới: gõ một câu và xem nó bị cắt thành token ra sao. Thử cả tiếng Việt nữa.

02 · Hình dung thế này

Hãy nghĩ đến Lego. Model không nhìn thấy cả ngôi nhà; nó nhìn thấy từng viên gạch. Từ phổ biến là một viên to, từ hiếm được ghép từ nhiều viên nhỏ.

03 · Chơi thử

Thử ngay

Nhìn chữ như AI nhìn

Gõ bất cứ thứ gì, hoặc bấm một mẫu. Mỗi ô màu là một token, đơn vị mà AI đọc và tính tiền.

Ký tự: 56
Token: 33
≈ Số từ: 13

Xin chào! Hôm nay trời đẹp quá, mình đi uống cà phê nhé.

Trung bình khoảng 2,5 token mỗi từ. Tiếng Anh thường chỉ khoảng 1,3. Chữ có dấu, bảng chữ khác, emoji và code tốn nhiều token hơn, nên cùng một tin nhắn tiếng Việt sẽ lấp đầy bộ nhớ của AI (và hoá đơn của bạn) nhanh hơn. Thử bấm “Không dấu” để so sánh.

Chỉ là ước lượng: mỗi model có cách tách token khác nhau.

04 · Làm ngay

05 · Kiểm tra nhanh

Vì sao chatbot có thể đếm sai số chữ cái trong từ “strawberry”?

Thuật ngữ trong bài

Xem thêm

Chơi thử

Phòng thí nghiệm · 10 phút · chạy trên trình duyệt

Bộ não AI

Xem bộ tách token thật cắt chữ của bạn, chơi với máy đoán chữ tí hon và quay vòng nhiệt độ.

L004Tương tác