Bài báo cho GPT chữ T

Đến năm 2017, phần mềm ngôn ngữ tốt nhất, như hệ thống dịch máy, đọc câu từng chữ một và mang theo một bản tóm tắt cập nhật dần. Cách này huấn luyện chậm, vì mỗi bước phải chờ bước trước. Nó cũng khó nối những chữ nằm cách xa nhau trong một văn bản dài.

Tháng 6/2017, tám nhà nghiên cứu, phần lớn ở Google, đăng bài "Attention Is All You Need" (Chỉ cần attention là đủ). Bài đề xuất một thiết kế họ đặt tên là Transformer. Thay vì đọc theo thứ tự, nó nhìn tất cả các chữ cùng lúc. Với mỗi chữ, nó tính xem cần chú ý bao nhiêu đến từng chữ khác, nhờ đó nối được "nó" với đúng danh từ, hoặc biết chữ "bank" trong câu nghĩa là bờ sông hay ngân hàng.

Vì mọi chữ được xử lý cùng lúc, công việc có thể chia cho nhiều chip chạy song song. Bài báo báo cáo điểm dịch thuật tốt hơn các hệ thống trước, sau 3,5 ngày huấn luyện trên tám card đồ họa, ít hơn rất nhiều so với các phương pháp tốt nhất trước đó. Bài được trình bày tại hội nghị NIPS tháng 12/2017.

Transformer giúp việc huấn luyện các mô hình ngôn ngữ lớn hơn nhiều trên lượng văn bản lớn hơn nhiều trở nên khả thi. Năm 2018, OpenAI ra mắt mô hình GPT đầu tiên. GPT là viết tắt của Generative Pre-trained Transformer (Transformer tạo sinh, được huấn luyện trước). Phần lớn các chatbot lớn hiện nay được xây trên cùng thiết kế cơ bản này.

Với người dùng chatbot, điều này giải thích cách chatbot đọc tin nhắn của bạn. Nó không đọc từ trên xuống như người. Nó nhìn bao quát mọi thứ trong tầm nhìn cùng lúc, câu hỏi của bạn, tài liệu bạn dán vào và phần chat trước đó, rồi cân nhắc phần nào quan trọng cho mỗi chữ nó viết ra. Tầm nhìn đó, gọi là context window (cửa sổ ngữ cảnh), có giới hạn kích thước. Thứ nằm ngoài nó thì hoàn toàn không được cân nhắc, và trong văn bản rất dài, một số chi tiết có thể được chú ý ít hơn bạn muốn.

Ý tưởng đằng sau vụ nàyBài học: Context window: trí nhớ ngắn hạn của AI →

1. 1Đưa vào cuộc chat mọi thứ chatbot cần: tài liệu, bối cảnh và câu hỏi.
2. 2Nói rõ phần nào quan trọng nhất, ví dụ "tập trung vào mục 3".
3. 3Với tài liệu rất dài, hỏi từng phần một, hoặc yêu cầu nó trích nguyên văn đoạn nó dựa vào.
4. 4Trong cuộc chat dài, nhắc lại các dữ kiện và quyết định quan trọng thay vì cho rằng nó vẫn cân nhắc các tin nhắn đầu tiên.