Phòng thí nghiệm
Bộ não AI
Chatbot lặp đi lặp lại ba việc rất đơn giản: cắt chữ của bạn thành token, chấm điểm xem mẩu nào có thể đi tiếp, rồi chọn một mẩu. Mỗi trạm ở đây cho bạn tự tay làm một bước.
Kit
Mình dựng sẵn ba trạm cho bạn rồi. Lần đầu thì cứ đi lần lượt nhé. Bạn gõ gì cũng chỉ nằm trong trình duyệt này thôi.
Trạm 01
Cắt chữ thành token
Mô hình không nhìn thấy chữ cái hay từ. Nó chỉ thấy token: những mẩu chữ, mỗi mẩu có một số ID. Gõ gì đó bên dưới và xem bộ tách token thật cắt ra sao.
Bộ tách: o200k_base, loại GPT-4o và một số mô hình mới hơn của OpenAI đang dùng.
- Token
- …
- Ký tự
- 72
- Từ
- 16
- Token mỗi từ
- …
Các token trong chữ của bạn
Đang tải bộ tách token (khoảng 1 MB, chỉ lần đầu thôi)…
Token quan trọng vì mô hình tính tiền và giới hạn độ dài theo token. Tiếng Việt thường tốn nhiều token cho mỗi từ hơn tiếng Anh, vì bộ tách token học từ dữ liệu mà phần lớn là tiếng Anh.
Cùng một ý, hai thứ tiếng
Mỗi cặp nói cùng một điều. Bạn so xem mỗi bên tốn bao nhiêu token.
Chào hỏi
Good morning! Did you sleep well?
Tiếng Anh: …
Chào buổi sáng! Bạn ngủ có ngon không?
Tiếng Việt: …
Cà phê
Could I have an iced milk coffee, please?
Tiếng Anh: …
Cho mình một ly cà phê sữa đá nhé.
Tiếng Việt: …
Thời tiết
Bring a raincoat, it's going to rain.
Tiếng Anh: …
Nhớ mang áo mưa nhé, trời sắp mưa rồi.
Tiếng Việt: …
AI
Artificial intelligence learns patterns from data.
Tiếng Anh: …
Trí tuệ nhân tạo học các quy luật từ dữ liệu.
Tiếng Việt: …
Tết
My grandmother wraps sticky rice cakes for Tết.
Tiếng Anh: …
Bà mình gói bánh chưng để ăn Tết.
Tiếng Việt: …