Bài 45 · 2 phút
Quantization: thu nhỏ model cho vừa máy
Quantization (lượng tử hóa) lưu các con số của model với độ chính xác thấp hơn, nên tốn ít bộ nhớ hơn hẳn và chạy được trên máy nhỏ, đổi lại chất lượng giảm một chút.
Model chủ yếu là một danh sách khổng lồ các con số gọi là trọng số (weights). Bình thường mỗi số được lưu với nhiều chữ số thập phân, mà có đến hàng tỷ số như vậy, nên tệp quá nặng với laptop hay điện thoại thông thường.
Quantization làm tròn các số đó theo thang thô hơn. Thay vì giữ từng chữ số lẻ nhỏ xíu, mỗi trọng số được lưu bằng ít bit hơn. Model có thể nhỏ đi còn một nửa, một phần tư hoặc ít hơn nữa.
Nhỏ hơn nghĩa là vừa bộ nhớ hơn và thường chạy nhanh hơn. Cái giá là mất một chút độ chính xác. Làm tròn vừa phải thì phần lớn người dùng không nhận ra. Ép quá tay thì câu trả lời kém đi thấy rõ.
Nếu bạn từng tải model về để tự chạy, bạn sẽ thấy cùng một model có nhiều cỡ. Đó thường là các mức quantization khác nhau: hãy chọn bản lớn nhất mà máy bạn chứa được thoải mái.
Làm ngay
Xem việc làm tròn hoạt động
- 1. Viết ra một giá tiền, ví dụ 47.836 đồng.
- 2. Làm tròn đến hàng nghìn, rồi đến hàng chục nghìn.
- 3. Tự hỏi đến lúc nào con số làm tròn hết còn hữu ích. Model được lượng tử hóa cũng đối mặt với sự đánh đổi đó, nhân lên hàng tỷ lần.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Quantization
- Lưu các con số của mô hình với độ chính xác thấp hơn để tốn ít bộ nhớ và chạy nhanh hơn, chất lượng giảm chút ít.
- Weights
- Các con số đã học tạo nên một mô hình. Chia sẻ mô hình thường là chia sẻ tệp trọng số của nó.
- Local model
- Mô hình AI chạy ngay trên máy tính hoặc điện thoại của bạn, nên dữ liệu không rời khỏi thiết bị.