Bài 31 · 2 phút
Attention, nói cho dễ hiểu
Attention (cơ chế chú ý) là cách model chọn ra những chữ phía trước quan trọng nhất cho chữ nó đang viết.
Khi chatbot đọc tin nhắn của bạn, nó cắt câu thành các token. Để hiểu một token, nó nhìn lại tất cả token khác và tự hỏi: chữ nào giúp mình hiểu chữ này?
Lấy câu “Con mèo nằm trên tấm thảm vì nó ấm.” Để biết “nó” là gì, model dồn sức nặng vào “tấm thảm” và “ấm”, ít để ý tới “trên” hay “vì”. Việc cân đo đó gọi là attention.
Các model ngôn ngữ ngày nay dựa trên kiến trúc transformer, và attention là mẹo cốt lõi của nó. Model chạy rất nhiều lớp attention chồng lên nhau, mỗi lớp bắt một kiểu liên kết: ngữ pháp, ý nghĩa, ai làm gì với ai.
Nhờ vậy chatbot theo được những tin nhắn dài và lộn xộn. Nhưng cũng vì vậy mà có điểm yếu: với văn bản rất dài, sự chú ý bị chia mỏng, nên chi tiết nhỏ dễ bị lơ là.
Làm ngay
Xem attention làm việc
- 1. Viết một câu mà chữ “nó” hoặc “họ” có thể hiểu theo hai cách.
- 2. Hỏi chatbot chữ đó chỉ cái gì, dùng câu lệnh bên dưới.
- 3. Đổi một chữ trong câu rồi hỏi lại. Xem câu trả lời có đổi theo không.
Trong câu này, “nó” chỉ cái gì, và những chữ nào giúp bạn biết? Câu: “Chiếc cúp không vừa vào va li vì nó quá to.”
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Attention
- Phần trong transformer giúp mỗi từ cân nhắc xem các từ khác trong đoạn văn quan trọng thế nào với nghĩa của nó.
- Transformer
- Thiết kế mạng nơ-ron đứng sau các chatbot hiện đại, giỏi theo dõi mỗi từ liên quan thế nào với các từ khác.
- Token
- Một mẩu chữ, thường là một phần của từ, mà AI đọc và viết. Giới hạn và giá tiền được tính theo token.