Bài 44 · 2 phút
Huấn luyện và suy luận: học một lần, trả lời hàng triệu lần
Huấn luyện (training) là lúc model học, diễn ra trước khi bạn dùng nó; suy luận (inference) là lúc model trả lời bạn bằng những gì nó đã học.
Huấn luyện là phần dài và tốn kém. Công ty cho một lượng dữ liệu khổng lồ chạy qua hàng nghìn con chip trong nhiều tuần hoặc nhiều tháng, chỉnh dần trọng số (weights) của model cho đến khi nó đoán chữ giỏi. Xong rồi thì trọng số được đóng băng.
Suy luận là mọi thứ sau đó. Mỗi lần bạn gửi tin nhắn, model đã đóng băng đọc nó và tính ra câu trả lời. Một câu trả lời tốn rất ít, nhưng hàng triệu người hỏi suốt ngày thì cộng lại cũng rất nhiều, nên phục vụ một model nổi tiếng vẫn cần lượng máy tính lớn.
Điều này giải thích một chuyện hay làm người ta ngạc nhiên. Model không học từ cuộc trò chuyện của bạn trong lúc nói chuyện. Nếu nó có vẻ nhớ bạn, đó là nhờ tính năng ghi nhớ hoặc ghi chú được thêm vào bên ngoài, ứng dụng đưa chúng lại cho model dưới dạng chữ.
Cuộc trò chuyện của bạn có thể được dùng để huấn luyện phiên bản sau, tùy dịch vụ và cài đặt của bạn. Đó là một bước riêng diễn ra về sau, và thường bạn tắt được trong phần cài đặt quyền riêng tư.
Làm ngay
Xem chatbot lưu giữ những gì
- 1. Mở phần cài đặt của chatbot bạn dùng nhiều nhất.
- 2. Tìm các tùy chọn về ghi nhớ và về việc dùng cuộc trò chuyện để cải thiện model.
- 3. Quyết định bật cái nào, và tắt những cái còn lại.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Inference
- Lúc mô hình đã huấn luyện xong được dùng thật để trả lời, khác với giai đoạn học trước đó.
- Training
- Quá trình cho mô hình xem nhiều ví dụ và chỉnh các con số bên trong cho đến khi kết quả tốt lên.
- GPU
- Con chip làm cùng lúc rất nhiều phép tính nhỏ. Ban đầu làm cho game, nay là động cơ chính của AI.