Bài 167 · 3 phút
Hành trình của một câu hỏi trong app AI
Từ lúc bạn bấm gửi tới lúc thấy câu trả lời, câu hỏi đi qua các bước kiểm tra, được ghép thêm bối cảnh, tới model, có khi qua vài công cụ, rồi lại được kiểm tra.
Bạn gõ một câu hỏi vào khung chat hỗ trợ của một công ty và bấm gửi. Đầu tiên app có thể kiểm tra tin nhắn: có quá dài không, có chứa số thẻ không, có đang tìm cách lừa bot không? Đó là hàng rào đầu vào.
Tiếp theo app ghép thành câu lệnh đầy đủ. Nó thêm hướng dẫn ẩn về vai trò của bot, một phần lịch sử chat gần đây, và thường kèm vài đoạn lấy từ trang hướng dẫn của công ty khớp với câu hỏi. Tin nhắn của bạn chỉ là một phần trong thứ model đọc.
Model rồi viết câu trả lời từng token một. Nếu cần công cụ, như tra đơn hàng của bạn, nó nhờ app chạy rồi viết tiếp dựa trên kết quả. Chữ hiện dần lên màn hình ngay khi được viết ra.
Trước hoặc trong lúc hiển thị, một bước kiểm tra đầu ra có thể soát câu trả lời xem có dữ liệu riêng tư hay chủ đề bị cấm không. App cũng ghi lại cuộc trò chuyện để đội ngũ phát hiện vấn đề sau này. Tất cả thường diễn ra trong vài giây.
Làm ngay
Lần theo một câu hỏi thật
- 1. Hỏi một chatbot có tìm kiếm web về một chuyện mới xảy ra.
- 2. Để ý từng chặng: khoảng dừng, dòng “đang tìm kiếm”, các link, câu trả lời hiện dần.
- 3. Ghi lại chặng nào bạn nhìn thấy và chặng nào bạn đoán đã diễn ra ngầm.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Guardrails
- Quy tắc và bộ lọc quanh hệ thống AI để chặn yêu cầu và câu trả lời có hại, lạc đề hoặc không an toàn.
- System prompt
- Chỉ dẫn nền do nhà làm ứng dụng đặt sẵn, bạn không thấy, quy định cách AI cư xử trong mọi cuộc trò chuyện.
- RAG
- AI tìm đoạn liên quan trong tài liệu của bạn trước, rồi dựa vào đó để trả lời, nên chính xác hơn.
- Token
- Một mẩu chữ, thường là một phần của từ, mà AI đọc và viết. Giới hạn và giá tiền được tính theo token.
- Latency
- Khoảng chờ từ lúc bạn hỏi AI đến lúc nó bắt đầu trả lời.