Attention, nói cho dễ hiểu

Lấy câu “Con mèo nằm trên tấm thảm vì nó ấm.” Để biết “nó” là gì, model dồn sức nặng vào “tấm thảm” và “ấm”, ít để ý tới “trên” hay “vì”. Việc cân đo đó gọi là attention.

Các model ngôn ngữ ngày nay dựa trên kiến trúc transformer, và attention là mẹo cốt lõi của nó. Model chạy rất nhiều lớp attention chồng lên nhau, mỗi lớp bắt một kiểu liên kết: ngữ pháp, ý nghĩa, ai làm gì với ai.

Nhờ vậy chatbot theo được những tin nhắn dài và lộn xộn. Nhưng cũng vì vậy mà có điểm yếu: với văn bản rất dài, sự chú ý bị chia mỏng, nên chi tiết nhỏ dễ bị lơ là.