Bài 32 · 2 phút
Vì sao AI hay quên trong cuộc trò chuyện dài
Cuộc trò chuyện càng dài càng kém dần, vì model phải xoay xở với quá nhiều chữ và chi tiết cũ bị lấn át.
Bạn mở một cuộc trò chuyện, dặn vài quy tắc, và lúc đầu câu trả lời rất ổn. Một tiếng sau, chatbot bắt đầu lặp lại, quên quy tắc, hoặc lẫn lộn hai phiên bản kế hoạch của bạn. Bạn không tưởng tượng ra đâu.
Mỗi lần trả lời, model đọc lại toàn bộ cuộc trò chuyện. Càng dài thì càng nhiều thứ phải cân nhắc, và chi tiết ở đoạn giữa thường được chú ý ít hơn phần đầu và phần cuối.
Khi cuộc trò chuyện dài hơn context window của model, ứng dụng phải cắt bớt hoặc nén các tin nhắn cũ nhất. Những gì nằm trong đó có thể mất hẳn.
Các bản nháp cũ cũng gây rối. Nếu bạn đổi ý ba lần, cả ba phiên bản vẫn nằm trong cuộc trò chuyện, và model có thể chọn nhầm.
Làm ngay
Làm mới một cuộc trò chuyện đã mệt
- 1. Tìm một cuộc trò chuyện dài mà câu trả lời bắt đầu kém đi.
- 2. Nhờ nó tóm tắt gọn gàng bằng câu lệnh bên dưới.
- 3. Đọc lại bản tóm tắt, sửa chỗ sai, rồi dán vào một cuộc trò chuyện mới và làm tiếp.
Hãy viết một ghi chú bàn giao ngắn cho cuộc trò chuyện này: mục tiêu của tôi, các quyết định cuối cùng (chỉ giữ phiên bản mới nhất), các quy tắc tôi đã dặn, và việc còn lại. Dưới 150 chữ.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Context window
- Lượng chữ tối đa AI xem được trong một lần. Phần vượt quá sẽ bị quên trong cuộc trò chuyện đó.
- Memory
- Tính năng chatbot lưu thông tin về bạn giữa các cuộc trò chuyện để bạn không phải nhắc lại.
- Token
- Một mẩu chữ, thường là một phần của từ, mà AI đọc và viết. Giới hạn và giá tiền được tính theo token.