06
Bài 6 · 2 phút
Context window: trí nhớ ngắn hạn của AI
Chatbot chỉ nhìn thấy một lượng chữ giới hạn mỗi lúc, nên trong một cuộc trò chuyện rất dài, phần cũ nhất có thể bị trôi mất.
Context window (cửa sổ ngữ cảnh) là tất cả những gì model nhìn thấy lúc này: tin nhắn của bạn, câu trả lời của nó, các tệp bạn gửi và những chỉ dẫn ẩn. Nó được đo bằng token.
Cửa sổ ngày nay khá rộng. Nhiều model chứa được cả một cuốn sách. Nhưng nó không vô hạn, và model ít để ý đến các chi tiết nằm lọt thỏm giữa một cuộc trò chuyện dài.
Khi cuộc trò chuyện quá dài, công cụ có thể bỏ bớt hoặc tóm gọn những tin nhắn cũ nhất. Vì vậy chatbot có thể quên mất quy tắc bạn dặn từ một tiếng trước.
Thử ngay bên dưới: cứ trò chuyện tiếp và xem các tin nhắn đầu tiên rơi ra khỏi cửa sổ.
Vì sao chatbot hay quên
Bấm Tin nhắn tiếp để cuộc trò chuyện đi tiếp. AI chỉ thấy được những gì nằm vừa trong cửa sổ bộ nhớ.
- Chào bạn! Mình là Minh, mình đang lên kế hoạch đi Đà Lạt.18 token
Đã quên 0 tin nhắn.
Làm ngay
Chủ động bắt đầu lại
- 1.Lần tới khi một cuộc trò chuyện dài bắt đầu trả lời kém đi, hãy nhờ nó tóm tắt bằng câu lệnh bên dưới.
- 2.Mở một cuộc trò chuyện mới và dán bản tóm tắt làm tin nhắn đầu tiên.
- 3.Để ý xem câu trả lời sắc nét trở lại thế nào.
Hãy tóm tắt cuộc trò chuyện từ đầu đến giờ trong dưới 150 chữ: mục tiêu của tôi, những gì chúng ta đã quyết định, và các quy tắc tôi đã dặn bạn. Tôi sẽ dán nó vào một cuộc trò chuyện mới.
Thuật ngữ trong bài
- Context window
- Lượng chữ tối đa AI xem được trong một lần. Phần vượt quá sẽ bị quên trong cuộc trò chuyện đó.
- Token
- Một mẩu chữ, thường là một phần của từ, mà AI đọc và viết. Giới hạn và giá tiền được tính theo token.
- LLM
- AI học từ khối lượng chữ khổng lồ để đoán từ tiếp theo, nhờ đó viết, tóm tắt, dịch và trò chuyện được.