Bài 60 · 2 phút
Một model, nhiều giác quan
Model đa phương thức (multimodal) có thể tiếp nhận chữ, hình ảnh, âm thanh, đôi khi cả video, và nối kết những gì học được từ mỗi loại.
Chatbot thời đầu chỉ đọc và viết chữ. Model đa phương thức được huấn luyện trên chữ cùng với ảnh, âm thanh và video, nên học được mối liên hệ giữa một từ, một bức ảnh và một âm thanh.
Vì thế bạn có thể gửi kết hợp nhiều thứ trong cùng một yêu cầu: ảnh chụp vòi nước bị hỏng kèm câu hỏi "tôi cần mua linh kiện nào?", hay một tin nhắn thoại kèm một biểu đồ.
Có model tạo ra được nhiều thứ ngoài chữ, như giọng nói hay hình ảnh. Có model nhận nhiều loại đầu vào nhưng chỉ trả lời bằng chữ. Các công cụ thường ghép nhiều model phía sau cùng một khung chat.
Mỗi giác quan có điểm yếu riêng. Model có thể đọc nhầm nhãn bị mờ hay nghe nhầm một cái tên, rồi lập luận rất tự tin từ lỗi đó. Khi câu trả lời quan trọng, hãy kiểm tra xem nó nói đã thấy hoặc nghe được gì.
Làm ngay
Cho xem thay vì mô tả
- 1. Chụp một thứ khó hiểu trong nhà: cái điều khiển, bảng nút máy giặt hoặc hộp thuốc.
- 2. Tải ảnh lên kèm prompt bên dưới.
- 3. Đối chiếu phần nó đọc trên nhãn với đồ vật thật trước khi làm theo.
Hãy xem bức ảnh này. Trước tiên, cho tôi biết chính xác những chữ và ký hiệu bạn nhìn thấy. Sau đó giải thích ý nghĩa bằng lời đơn giản. Nói rõ nếu có chỗ nào quá mờ không đọc được.
Kiểm tra nhanh
Học tiếp
Bài sau →AI vẽ tranhTìm hiểu thêm
Thuật ngữ trong bài
- Multimodal
- Làm việc được với nhiều loại đầu vào hoặc đầu ra, như chữ, hình ảnh, âm thanh và video cùng lúc.