ManuAIEN

L069 · Chuyện sắp tới · 3 phút

Điện và nước mà AI tiêu tốn

Một câu trả lời của AI tốn rất ít năng lượng, nhưng hàng tỉ câu trả lời cộng với việc huấn luyện tạo ra gánh nặng thật cho lưới điện và nguồn nước.

01 · Ý chính

AI chạy trên những con chip gọi là GPU trong các trung tâm dữ liệu khổng lồ. Chúng ngốn nhiều điện, và lượng nhiệt tỏa ra thường được làm mát bằng hệ thống có dùng nước.

Huấn luyện một model lớn là việc làm một lần, nhưng có thể tốn lượng điện bằng nhiều hộ gia đình dùng trong cả năm. Trả lời câu hỏi, gọi là inference, tốn ít hơn nhiều mỗi lần, nhưng diễn ra hàng tỉ lần mỗi ngày.

Ước tính cho một câu trả lời của chatbot chênh nhau rất nhiều, vì còn tùy model, độ dài câu trả lời, phần cứng và trung tâm dữ liệu. Phần lớn ước tính cho rằng một câu trả lời chữ thông thường tốn cỡ vài giây tới vài phút bật một bóng đèn. Ảnh, video và suy luận dài tốn hơn.

Các công ty đang làm chip và hệ thống làm mát tiết kiệm hơn, một số dùng nguồn điện sạch hơn. Bạn cũng góp được một chút: dùng model nhanh cho việc dễ, đừng bấm tạo lại khi không cần, và đừng tạo video chỉ để rồi bỏ đi.

02 · Hình dung thế này

Giống như một ấm trà so với trà của cả thành phố. Một ấm thì hóa đơn điện gần như không đổi. Hàng triệu ấm mỗi giờ thì cần cả một nhà máy điện.

03 · Làm ngay

04 · Kiểm tra nhanh

Vì sao tổng năng lượng AI dùng rất lớn dù mỗi câu trả lời tốn ít?

Thuật ngữ trong bài

Xem thêm