Bài 67 · 2 phút
Model nhỏ và model lớn
Model lớn biết nhiều hơn và suy luận giỏi hơn, còn model nhỏ thì nhanh, rẻ và chạy được ngay trên máy của bạn.
Kích thước của model đại khái là số parameter (tham số), tức các con số đã học bên trong nó. Model lớn có hàng trăm tỉ tham số hoặc hơn. Model nhỏ có thể chỉ vài tỉ, đủ nhỏ để chạy trên laptop hay điện thoại.
Model lớn giỏi hơn ở suy luận khó, kiến thức hiếm, tài liệu dài và những bài viết phức tạp. Chúng chạy trong trung tâm dữ liệu, nên mỗi câu trả lời tốn hơn và lâu hơn một chút.
Model nhỏ nhanh và rẻ, có loại chạy được không cần internet, nên dữ liệu ở lại trên máy bạn. Chúng làm tốt việc hằng ngày: phân loại tin nhắn, tóm tắt ngắn, viết lại câu đơn giản, gợi ý chữ khi gõ.
Nhiều ứng dụng âm thầm dùng cả hai: model nhỏ cho yêu cầu dễ, model lớn khi câu hỏi khó. Khi tự dùng, hãy thử chế độ nhanh hoặc nhỏ trước, chỉ chuyển lên khi câu trả lời chưa đủ tốt.
Làm ngay
Tìm model nhỏ nhất mà vẫn đủ dùng
- 1. Nhiều chatbot cho chọn chế độ nhanh và chế độ mạnh hơn.
- 2. Đưa cả hai cùng một việc hằng ngày, như prompt bên dưới.
- 3. Nếu câu trả lời ở chế độ nhanh đã ổn, từ nay hãy dùng nó cho loại việc đó.
Viết lại tin nhắn này cho lịch sự và rõ ràng, dưới 60 chữ: “ê, báo cáo lại trễ nữa rồi, thứ sáu phải có không là có chuyện đấy”
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Small language model
- Mô hình ngôn ngữ gọn, rẻ và nhanh hơn, thường đủ tốt cho việc chuyên biệt và chạy được trên thiết bị.
- Parameters
- Các con số điều chỉnh được bên trong mô hình, được đặt trong lúc huấn luyện. Mô hình lớn có hàng tỷ tham số.
- LLM
- AI học từ khối lượng chữ khổng lồ để đoán từ tiếp theo, nhờ đó viết, tóm tắt, dịch và trò chuyện được.