Bài 69 · 3 phút
Điện và nước mà AI tiêu tốn
Một câu trả lời của AI tốn rất ít năng lượng, nhưng hàng tỉ câu trả lời cộng với việc huấn luyện tạo ra gánh nặng thật cho lưới điện và nguồn nước.
AI chạy trên những con chip gọi là GPU trong các trung tâm dữ liệu khổng lồ. Chúng ngốn nhiều điện, và lượng nhiệt tỏa ra thường được làm mát bằng hệ thống có dùng nước.
Huấn luyện một model lớn là việc làm một lần, nhưng có thể tốn lượng điện bằng nhiều hộ gia đình dùng trong cả năm. Trả lời câu hỏi, gọi là inference, tốn ít hơn nhiều mỗi lần, nhưng diễn ra hàng tỉ lần mỗi ngày.
Ước tính cho một câu trả lời của chatbot chênh nhau rất nhiều, vì còn tùy model, độ dài câu trả lời, phần cứng và trung tâm dữ liệu. Phần lớn ước tính cho rằng một câu trả lời chữ thông thường tốn cỡ vài giây tới vài phút bật một bóng đèn. Ảnh, video và suy luận dài tốn hơn.
Các công ty đang làm chip và hệ thống làm mát tiết kiệm hơn, một số dùng nguồn điện sạch hơn. Bạn cũng góp được một chút: dùng model nhanh cho việc dễ, đừng bấm tạo lại khi không cần, và đừng tạo video chỉ để rồi bỏ đi.
Làm ngay
Dùng công cụ vừa với việc
- 1. Nhìn lại tuần này bạn đã dùng AI vào những việc gì.
- 2. Đánh dấu những việc mà model nhanh hoặc nhỏ cũng làm được, hoặc chỉ cần tìm kiếm nhanh là xong.
- 3. Tuần tới, để dành công cụ suy luận lớn hay tạo video cho những việc thật sự cần.
Kiểm tra nhanh
Học tiếp
Bài sau →AI thật ra chạy ở đâuTìm hiểu thêm
Thuật ngữ trong bài
- GPU
- Con chip làm cùng lúc rất nhiều phép tính nhỏ. Ban đầu làm cho game, nay là động cơ chính của AI.
- Inference
- Lúc mô hình đã huấn luyện xong được dùng thật để trả lời, khác với giai đoạn học trước đó.
- Training
- Quá trình cho mô hình xem nhiều ví dụ và chỉnh các con số bên trong cho đến khi kết quả tốt lên.