LLM được huấn luyện như thế nào

Một model ngôn ngữ lớn (LLM) khởi đầu là một transformer với trọng số ngẫu nhiên. Nó đọc lượng văn bản khổng lồ, hàng nghìn tỷ token từ web, sách và mã nguồn, và chỉ học một việc: đoán token kế tiếp. Mỗi lần đoán sai tạo ra loss, và gradient descent điều chỉnh hàng tỷ trọng số.

Để đoán giỏi, model phải hấp thụ ngữ pháp, kiến thức, văn phong và một số kiểu suy luận. Kết quả là một base model (model nền). Nó viết tiếp văn bản trôi chảy nhưng chưa làm theo chỉ dẫn một cách đáng tin. Pretraining (tiền huấn luyện) một model hàng đầu tốn nhiều triệu đô la tiền tính toán.

Tiếp theo là supervised fine-tuning (tinh chỉnh có giám sát). Base model được huấn luyện thêm trên một tập nhỏ hơn nhiều gồm các cuộc hội thoại mẫu: một câu hỏi và một câu trả lời tốt do con người viết hoặc kiểm tra. Bước này dạy model định dạng và cách cư xử của một trợ lý.

Bạn có thể tự fine-tune các model mở. Kỹ thuật như LoRA chỉ huấn luyện một nhóm nhỏ trọng số bổ sung, nên một model 7 tỷ tham số có thể được tinh chỉnh trên một GPU. Tuy vậy, với phần lớn bài toán doanh nghiệp, viết prompt tốt hoặc dùng truy xuất (retrieval) rẻ hơn và nên thử trước.

Con người so sánh từng cặp câu trả lời và chọn câu tốt hơn. Trong RLHF, học tăng cường từ phản hồi của con người, một reward model (model chấm điểm) học các lựa chọn đó, rồi LLM được huấn luyện để đạt điểm cao. Các phương pháp mới hơn như DPO học thẳng từ các cặp lựa chọn. Một số phòng lab còn dùng phản hồi từ AI theo một bộ nguyên tắc viết sẵn.

Các model suy luận (reasoning model) gần đây bổ sung học tăng cường trên những bài có đáp án kiểm chứng được, như toán và lập trình, để model học cách giải từng bước trước khi trả lời.

Vì kỹ năng cốt lõi là dự đoán, model có thể viết ra những câu trôi chảy mà sai sự thật. Kiến thức của nó dừng ở một mốc thời gian huấn luyện. Còn giọng điệu và những lần từ chối chủ yếu đến từ fine-tuning và preference tuning, không phải từ pretraining.