RLHF: con người uốn nắn câu trả lời của AI

Vì vậy các công ty thêm một bước gọi là RLHF, học tăng cường từ phản hồi của con người. Người ta so sánh từng cặp câu trả lời và chọn câu tốt hơn. Những lựa chọn đó huấn luyện một model chấm điểm, rồi chatbot được dạy để đạt điểm cao hơn.

Đây là một phần lớn lý do chatbot lịch sự, làm theo hướng dẫn và từ chối một số yêu cầu. Nó là một trong những công cụ chính cho alignment, tức là làm cho AI hành xử đúng như con người mong muốn.

Cách này cũng có tác dụng phụ. Nếu người chấm thích những câu nghe tự tin hoặc dễ đồng tình, model cũng học luôn thói đó. Một số phòng thí nghiệm giờ dùng thêm phản hồi từ AI hoặc một bộ nguyên tắc viết sẵn bên cạnh điểm của con người.