ManuAIEN

L006 · AI nghĩ thế nào · 2 phút · Tương tác

Context window: trí nhớ ngắn hạn của AI

Chatbot chỉ nhìn thấy một lượng chữ giới hạn mỗi lúc, nên trong một cuộc trò chuyện rất dài, phần cũ nhất có thể bị trôi mất.

01 · Ý chính

Context window (cửa sổ ngữ cảnh) là tất cả những gì model nhìn thấy lúc này: tin nhắn của bạn, câu trả lời của nó, các tệp bạn gửi và những chỉ dẫn ẩn. Nó được đo bằng token.

Cửa sổ ngày nay khá rộng. Nhiều model chứa được cả một cuốn sách. Nhưng nó không vô hạn, và model ít để ý đến các chi tiết nằm lọt thỏm giữa một cuộc trò chuyện dài.

Khi cuộc trò chuyện quá dài, công cụ có thể bỏ bớt hoặc tóm gọn những tin nhắn cũ nhất. Vì vậy chatbot có thể quên mất quy tắc bạn dặn từ một tiếng trước.

Thử ngay bên dưới: cứ trò chuyện tiếp và xem các tin nhắn đầu tiên rơi ra khỏi cửa sổ.

02 · Hình dung thế này

Giống như một tấm bảng trắng. Bạn viết được nhiều, nhưng khi đầy, ai đó sẽ xóa phần trên cùng để lấy chỗ. Phần đã xóa là mất, trừ khi bạn viết lại.

03 · Chơi thử

Thử ngay

Vì sao chatbot hay quên

Bấm Tin nhắn tiếp để cuộc trò chuyện đi tiếp. AI chỉ thấy được những gì nằm vừa trong cửa sổ bộ nhớ.

Những gì AI nhìn thấy18 / 60 token
  • Chào bạn! Mình là Minh, mình đang lên kế hoạch đi Đà Lạt.18 token

Đã quên 0 tin nhắn.

1 / 10

04 · Làm ngay

05 · Kiểm tra nhanh

Chatbot phớt lờ quy tắc bạn dặn ngay đầu một cuộc trò chuyện rất dài. Lý do khả dĩ nhất là gì?

Thuật ngữ trong bài

Xem thêm