Bài 48 · 2 phút
Độ trễ và streaming: vì sao câu trả lời hiện ra từng chữ
Chatbot hiện từng chữ ngay khi viết ra, gọi là streaming, vì một câu trả lời đầy đủ mất vài giây và thấy nó bắt đầu ngay sẽ có cảm giác nhanh hơn nhiều.
Độ trễ (latency) là khoảng chờ từ lúc hỏi đến lúc có phản hồi. Với chatbot, nó gồm hai phần: thời gian trước khi chữ đầu tiên hiện ra, và thời gian để viết xong cả câu trả lời.
Model viết từng token một, mỗi token mất một chút thời gian. Câu trả lời dài có thể mất nhiều giây. Nếu ứng dụng đợi đến tận cuối mới hiện, bạn sẽ phải nhìn màn hình trống.
Streaming gửi từng token đến bạn ngay khi nó vừa có. Vì vậy câu trả lời trông như đang tự gõ ra. Tổng thời gian gần như không đổi, nhưng bạn bắt đầu đọc được gần như ngay lập tức.
Những thứ làm phải chờ lâu hơn: câu trả lời dài, model lớn, cuộc trò chuyện dài hoặc tệp lớn cần đọc, giờ cao điểm, và các chế độ "suy nghĩ" lập luận trước khi trả lời. Khi cần nhanh, hãy xin câu trả lời ngắn hoặc dùng model nhanh hơn.
Làm ngay
Cảm nhận độ dài ảnh hưởng thế nào
- 1. Hỏi chatbot một câu chỉ cần trả lời một câu, và để ý nó xong nhanh ra sao.
- 2. Hỏi bằng prompt bên dưới, đòi câu trả lời dài, và bấm giờ.
- 3. Lần tới khi cần gì đó nhanh, hãy nói rõ điều đó trong prompt.
Giải thích xe đạp hoạt động thế nào trong 600 chữ, gồm bàn đạp, xích, bộ líp và phanh.
Kiểm tra nhanh
Tìm hiểu thêm