Chạy AI ngay trên máy của bạn, không cần mạng

Bạn cần ba thứ: một ứng dụng miễn phí để chạy model cục bộ, một tệp model đủ nhỏ cho máy, và đủ bộ nhớ. Laptop đời mới chạy được model cỡ nhỏ và vừa. Điện thoại ngày càng có sẵn model nhỏ cho các việc như tóm tắt hay gợi ý câu trả lời.

Điểm cộng lớn là quyền riêng tư. Chữ của bạn không rời khỏi máy, rất hợp với ghi chú nhạy cảm, và nó vẫn chạy được trên máy bay hay khi mạng chập chờn. Cài xong rồi thì hỏi bao nhiêu cũng không tốn thêm tiền.

Đổi lại là sức mạnh. Model vừa máy của bạn nhỏ hơn nhiều so với model trong các trung tâm dữ liệu lớn. Nó chậm hơn trên máy yếu, không tự tra cứu trên mạng nếu bạn không kết nối, và sai nhiều hơn ở việc khó.