Bài 49 · 2 phút
Giới hạn sử dụng: vì sao AI bảo "thử lại sau"
Rate limit (giới hạn tần suất) đặt mức trần cho lượng bạn dùng một dịch vụ AI trong một khoảng thời gian, để không ai chiếm hết máy chủ chung và chi phí được kiểm soát.
Chạy model tốn tiền thật cho chip và điện. Để chia sẻ công bằng, các dịch vụ đặt giới hạn: bao nhiêu tin nhắn, token hay yêu cầu mỗi phút, mỗi giờ hoặc mỗi ngày.
Khi dùng chatbot, bạn gặp chuyện này qua thông báo rằng bạn đã chạm giới hạn và có thể tiếp tục sau, hoặc tạm thời bị chuyển sang model nhỏ hơn. Gói trả phí thường nâng giới hạn lên; hiếm khi bỏ hẳn.
Với lập trình viên dùng API, giới hạn được tính theo tài khoản hoặc theo khóa. Gửi quá nhiều yêu cầu quá nhanh, dịch vụ sẽ trả về lỗi thay vì câu trả lời. Ứng dụng tốt sẽ đợi một chút rồi thử lại, mỗi lần chờ lâu hơn.
Giới hạn thay đổi thường xuyên, nên hãy xem trang trợ giúp chính thức của dịch vụ thay vì tin con số đọc được trên mạng. Nếu bạn dựa vào AI để làm việc, hãy sắp xếp các việc nặng và có sẵn một công cụ dự phòng.
Làm ngay
Tìm giới hạn của chính bạn
- 1. Mở trang trợ giúp hoặc trang gói dịch vụ của chatbot bạn dùng.
- 2. Tìm xem chuyện gì xảy ra khi bạn chạm giới hạn sử dụng.
- 3. Ghi lại khi nào giới hạn được đặt lại, để việc dài không bị dừng giữa chừng vào lúc khó xử.
Kiểm tra nhanh
Học tiếp
Bài sau →API là gì?Tìm hiểu thêm
Thuật ngữ trong bài
- Rate limit
- Mức trần số yêu cầu hoặc tin nhắn bạn được gửi tới dịch vụ AI trong một khoảng thời gian.
- API
- Cánh cửa để một chương trình gửi yêu cầu sang chương trình khác, ví dụ một ứng dụng hỏi mô hình AI để lấy câu trả lời.