Bài 184 · 3 phút
Mỗi câu hỏi gửi AI tốn bao nhiêu
Mỗi câu hỏi gửi tới một model AI trả phí đều tốn một khoản nhỏ, phần lớn tùy vào lượng chữ đi vào và đi ra, và những khoản nhỏ đó cộng lại rất nhanh.
Khi app dùng model qua API, nhà cung cấp tính tiền theo token, tức những mẩu chữ nhỏ. Bạn trả cho token gửi đi, gồm cả hướng dẫn ẩn, lịch sử chat và tài liệu đính kèm, và cho token model viết ra.
Vì thế một câu hỏi ngắn vẫn có thể đắt. Nếu app gửi kèm cuốn hướng dẫn 50 trang theo mọi tin nhắn, thì một câu “cảm ơn” cũng tốn ngang việc đọc lại cả cuốn. Lịch sử chat càng dài thì mỗi tin nhắn mới càng tốn.
Chọn model cũng quan trọng. Model lớn, thông minh hơn thường đắt hơn mỗi token so với model nhỏ, nhanh. Model suy luận còn có thể viết một đoạn suy nghĩ ẩn dài trước khi trả lời, và phần đó cũng tính tiền.
Người làm app giảm chi phí bằng cách chỉ gửi phần tài liệu liên quan, dùng model nhỏ cho bước đơn giản, dùng lại câu lệnh lặp lại khi nhà cung cấp cho phép lưu đệm, giới hạn độ dài câu trả lời và đặt hạn mức chi tiêu hằng tháng. Hãy xem trang giá hiện tại của nhà cung cấp, vì giá thay đổi thường xuyên.
Làm ngay
Ước tính hóa đơn hằng tháng của một tính năng
- 1. Hình dung một bot hỗ trợ nhận 200 câu hỏi mỗi ngày.
- 2. Ước lượng mỗi câu có bao nhiêu chữ đi vào và đi ra, tính cả tài liệu nó đọc.
- 3. Nhờ AI đổi ra token và chi phí hằng tháng theo bảng giá công bố của một nhà cung cấp, và xem phần nào tốn nhất.
Hãy giúp tôi ước tính chi phí của một tính năng AI. Mỗi câu hỏi gửi đi khoảng [SỐ CHỮ VÀO] chữ và nhận về khoảng [SỐ CHỮ RA] chữ. Mỗi ngày có [SỐ LƯỢNG] câu hỏi. Giải thích phép tính token từng bước và cho tôi biết thay đổi nào cắt giảm chi phí nhiều nhất. Tôi sẽ tự điền giá hiện tại từ trang web của nhà cung cấp.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Token
- Một mẩu chữ, thường là một phần của từ, mà AI đọc và viết. Giới hạn và giá tiền được tính theo token.
- API
- Cánh cửa để một chương trình gửi yêu cầu sang chương trình khác, ví dụ một ứng dụng hỏi mô hình AI để lấy câu trả lời.
- Inference
- Lúc mô hình đã huấn luyện xong được dùng thật để trả lời, khác với giai đoạn học trước đó.
- Context window
- Lượng chữ tối đa AI xem được trong một lần. Phần vượt quá sẽ bị quên trong cuộc trò chuyện đó.
- Reasoning model
- Mô hình dành thêm thời gian tự suy nghĩ trước khi trả lời, giúp ích cho toán, logic và lập kế hoạch.