Bài 70 · 2 phút
AI thật ra chạy ở đâu
Phần lớn câu trả lời của AI đến từ những trung tâm dữ liệu khổng lồ ở xa, còn một số AI nhỏ hơn chạy ngay trên điện thoại hay laptop của bạn.
Khi bạn gõ vào một chatbot lớn, tin nhắn đi qua internet tới một trung tâm dữ liệu: một nhà kho chứa đầy chip mạnh. Câu trả lời được tính ở đó rồi gửi về trong chớp mắt.
Một số AI lại chạy ngay trên thiết bị của bạn. Điện thoại và laptop giờ có chip chuyên cho việc này, lo những việc như tìm ảnh, phụ đề trực tiếp, gõ bằng giọng nói và tóm tắt ngắn. Người ta gọi đó là edge AI.
Mỗi nơi có cái được cái mất. Trung tâm dữ liệu chạy được những model lớn và giỏi nhất, nhưng cần kết nối mạng, và chữ của bạn phải rời khỏi máy. AI trên máy nhanh hơn với việc nhỏ, chạy được khi không có mạng và giữ dữ liệu bên bạn, nhưng model của nó nhỏ hơn.
Nhiều sản phẩm kết hợp cả hai, việc dễ làm ngay trên máy, việc khó gửi lên đám mây. Nếu việc nào cần riêng tư, hãy xem phần cài đặt hoặc trang trợ giúp của ứng dụng để biết dữ liệu của bạn đi đâu.
Làm ngay
Thử xem gì chạy được khi không có mạng
- 1. Bật chế độ máy bay trên điện thoại.
- 2. Thử gõ bằng giọng nói, tìm ảnh (tìm trong thư viện ảnh chữ “chó” hoặc “biển”) và mở một ứng dụng chatbot.
- 3. Ghi lại cái nào vẫn chạy. Đó là những thứ dùng AI ngay trên máy.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Edge AI
- AI chạy ngay trên điện thoại, camera hay thiết bị khác thay vì trên máy chủ ở xa, nên dữ liệu có thể ở lại máy.
- GPU
- Con chip làm cùng lúc rất nhiều phép tính nhỏ. Ban đầu làm cho game, nay là động cơ chính của AI.
- Inference
- Lúc mô hình đã huấn luyện xong được dùng thật để trả lời, khác với giai đoạn học trước đó.