Mixture of experts: model chỉ đánh thức phần cần dùng

Model mixture of experts chia phần lớn công việc đó cho nhiều "chuyên gia", tức các phần nhỏ hơn của mạng. Một bộ định tuyến nhỏ nhìn từng token và gửi nó đến vài chuyên gia có vẻ hữu ích nhất. Số còn lại nghỉ ở bước đó.

Vậy nên tổng thể model có thể rất lớn, trong khi mỗi chữ chỉ dùng một phần nhỏ. Nó rẻ hơn và nhanh hơn so với một model cùng tổng kích thước mà phần nào cũng phải làm việc liên tục.

Các chuyên gia này không gọn gàng như luật sư hay bác sĩ. Chúng tự hình thành kiểu mẫu riêng trong lúc huấn luyện, và con người thường khó gọi tên được. Toàn bộ model vẫn cần nhiều bộ nhớ, vì chuyên gia nào cũng phải được nạp sẵn.