ManuAIEN

L041 · Bên trong AI · 2 phút

Distillation: model lớn dạy model nhỏ

Distillation (chưng cất) là cách huấn luyện một model nhỏ, nhanh bắt chước câu trả lời của một model lớn, để giữ được phần lớn khả năng mà tốn ít chi phí hơn nhiều.

01 · Ý chính

Model lớn thì giỏi nhưng chạy chậm và tốn kém. Nhiều việc hằng ngày không cần đến sức mạnh đó, nên các công ty muốn có model nhỏ hơn mà vẫn làm gần tốt bằng.

Trong distillation, model lớn đóng vai thầy. Nó trả lời một lượng câu hỏi khổng lồ, còn model nhỏ, tức học trò, được huấn luyện để trả lời giống như vậy. Học trò còn học được cả mức độ chắc chắn của thầy với từng lựa chọn, thứ chứa nhiều thông tin hơn một câu đúng hay sai đơn thuần.

Kết quả là học trò nhỏ và nhanh hơn hẳn. Nó thường kém đi một chút, nhất là với câu hỏi khó hoặc lạ, nhưng với việc thông thường thì khoảng cách có thể rất nhỏ.

Nhiều phiên bản "mini", "lite" hay "fast" của các model nổi tiếng được tạo ra một phần theo cách này. Vì vậy model nhỏ có thể làm việc đơn giản rất ổn, rồi lại vấp ở câu hỏi hóc búa.

02 · Hình dung thế này

Giống như một đầu bếp giỏi dạy nghề cho người đứng quầy hàng ăn đông khách. Người học không nấu được cả thực đơn nhà hàng sang trọng, nhưng làm mười món bán chạy nhất gần ngon bằng, lại nhanh hơn nhiều.

03 · Làm ngay

04 · Kiểm tra nhanh

Trong distillation, model học trò học từ đâu?

Thuật ngữ trong bài

Xem thêm