Bài 168 · 2 phút
App AI sống ở đâu: đám mây hay trên máy bạn
Có AI chạy trong các trung tâm dữ liệu khổng lồ ở xa, có AI chạy ngay trên điện thoại hay laptop của bạn, và lựa chọn đó ảnh hưởng tới tốc độ, quyền riêng tư, chi phí và chất lượng.
Phần lớn trợ lý chat chạy trên đám mây. Tin nhắn của bạn đi tới một trung tâm dữ liệu đầy chip mạnh, một model lớn viết câu trả lời rồi gửi về qua internet. Bạn có được model mạnh nhất, đổi lại chữ của bạn phải rời khỏi máy.
AI trên thiết bị chạy ngay trên điện thoại hay máy tính. Các model nhỏ giờ đã làm được nhiều việc tại chỗ: phụ đề trực tiếp, tìm ảnh, gợi ý chữ nhanh, thậm chí chat ngắn. Nó chạy không cần mạng và giữ dữ liệu ở nhà, nhưng model nhỏ hơn và kém hơn.
Nhiều sản phẩm kết hợp cả hai. Yêu cầu đơn giản được xử lý trên máy, yêu cầu khó thì gửi lên mây, có khi kèm thông báo. Doanh nghiệp cũng có thể chạy model trên máy chủ riêng để dữ liệu không ra khỏi công ty.
Khi chọn công cụ, hãy hỏi dữ liệu của bạn đi đâu, ai xem được, và chuyện gì xảy ra khi mất mạng. Với việc nhạy cảm, model chạy tại chỗ hoặc trên máy chủ công ty có thể đáng để đánh đổi một chút chất lượng.
Làm ngay
Tìm một tính năng chạy trên máy
- 1. Bật chế độ máy bay trên điện thoại.
- 2. Thử gõ bằng giọng nói, tìm ảnh hay phụ đề trực tiếp xem cái nào vẫn chạy.
- 3. Cái nào vẫn chạy là đang chạy trên máy. Nhớ tắt chế độ máy bay khi xong.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Edge AI
- AI chạy ngay trên điện thoại, camera hay thiết bị khác thay vì trên máy chủ ở xa, nên dữ liệu có thể ở lại máy.
- Local model
- Mô hình AI chạy ngay trên máy tính hoặc điện thoại của bạn, nên dữ liệu không rời khỏi thiết bị.
- Small language model
- Mô hình ngôn ngữ gọn, rẻ và nhanh hơn, thường đủ tốt cho việc chuyên biệt và chạy được trên thiết bị.
- Data privacy
- Kiểm soát thông tin cá nhân hoặc bí mật, kể cả việc chọn gõ gì vào công cụ AI và dữ liệu được lưu ở đâu.
- Inference
- Lúc mô hình đã huấn luyện xong được dùng thật để trả lời, khác với giai đoạn học trước đó.