LLM Inference APIHướng dẫn
Chi phí thấp nhất LLM Inference API: Cách đánh giá chi phí thực
Giá mỗi token chỉ là một phần của vấn đề. Dưới đây là cách so sánh các API suy luận dựa trên các con số quyết định hóa đơn của bạn, với tỷ lệ của chúng tôi làm ví dụ minh họa.
Cập nhật:


Điểm chính
- Điểm đến của bất kỳ SDK OpenAI nào là https://api.llminferenceapi.com/v1, sử dụng model ID là uncensored và gửi khóa của bạn dưới dạng token Bearer.
- Hai endpoint được cung cấp: POST /v1/chat/completions và GET /v1/models.
- Truyền phát, gọi hàm và chế độ JSON hoạt động thông qua các trường yêu cầu tiêu chuẩn.
- Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút; phản hồi 429 cho bạn biết giới hạn nào bạn đã đạt tới.
Giá mỗi triệu token chỉ là điểm bắt đầu
API suy luận LLM rẻ nhất là API có chi phí thấp nhất cho khối công việc của bạn, không phải lúc nào cũng là con số thấp nhất trên trang giá. Hai nhà cung cấp có thể liệt kê cùng giá niêm yết nhưng tạo ra hóa đơn rất khác nhau khi bạn tính đến token đầu ra, prompt dài, lệnh gọi thất bại và mức nạp tiền tối thiểu.
Hãy thực hiện kiểm tra bốn phần trước khi chọn: giá đầu vào, giá đầu ra, cách mô hình xử lý ngữ cảnh dài và những gì bạn trả trước. Bài viết này sẽ giải thích từng phần, hiển thị giá của chúng tôi làm ví dụ và để bạn tự tính toán các con số của các nhà cung cấp khác. Hãy kiểm tra giá hiện tại của họ và đưa các số liệu vào cùng công thức.
Token đầu vào so với token đầu ra
Hầu hết các API LLM tính phí riêng cho đầu vào và đầu ra, và đầu ra thường đắt hơn. Giá của chúng tôi là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra. Điều này làm cho đầu ra đắt hơn ba lần so với đầu vào, vì vậy lưu lượng của bạn thay đổi kết quả.
Dưới đây là cách giá pha trộn thay đổi theo tỷ lệ token đầu vào so với token đầu ra:
| Tỷ lệ đầu vào : đầu ra | Chi phí cho 1 triệu token tổng cộng | Trung bình mỗi 1 triệu |
|---|---|---|
| 1 : 1 | 0,5 triệu x $0,15 + 0,5 triệu x $0,50 = $0,325 | $0,325 |
| 3 : 1 | 0,75 triệu x $0,15 + 0,25 triệu x $0,50 = $0,2375 | $0,2375 |
| 10 : 1 | khoảng 0.909M x $0,15 + 0.091M x $0,50 = $0,1818 | khoảng $0,18 |
| 1 : 3 | 0,25 triệu x $0,15 + 0,75 triệu x $0,50 = $0,4125 | $0.4125 |
Một trình tóm tắt đọc nhiều và viết ít, vì vậy nó nằm gần hàng 10 : 1. Một trình tạo câu chuyện viết nhiều từ một prompt ngắn và nằm gần hàng 1 : 3. Khi so sánh hai nhà cung cấp, hãy tính toán cả hai hàng cho tỷ lệ của riêng bạn. Một nhà cung cấp rẻ hơn ở đầu vào có thể thua lỗ trong khối công việc nặng về tạo nội dung.
Độ dài ngữ cảnh làm thay đổi hóa đơn
Các ứng dụng trò chuyện gửi lại toàn bộ cuộc trò chuyện ở mỗi lượt. Nếu một cuộc trò chuyện kéo dài đến 20 lượt, lượt 20 sẽ mang theo tất cả 19 cuộc trao đổi trước đó dưới dạng đầu vào. Do đó, chi phí của một cuộc trò chuyện tăng nhanh hơn độ dài của nó.
Ví dụ tính toán. Mỗi lượt thêm 300 token văn bản người dùng và 300 token phản hồi, và prompt hệ thống là 500 token. Đầu vào ở lượt n là 500 + (n - 1) x 600 + 300 token. Tổng cộng qua 20 lượt là 20 x 800 + 600 x 190 = 130.000 token đầu vào, cộng thêm 20 x 300 = 6.000 token đầu ra. Chi phí đầu vào là 130.000 x $0,15 / 1M = $0,0195 và chi phí đầu ra là 6.000 x $0,50 / 1M = $0,003, vì vậy toàn bộ cuộc hội thoại 20 lượt tốn $0,0225.
Con số chính xác ít quan trọng hơn hình dạng: đầu vào chiếm ưu thế trong các cuộc trò chuyện dài. Một nhà cung cấp có giá đầu vào rẻ giúp bạn nhiều hơn ở đây so với một nhà cung cấp có giá đầu ra rẻ. Cắt bớt các tin nhắn cũ hoặc tóm tắt chúng sẽ cắt giảm chi phí lớn nhất. Cửa sổ ngữ cảnh của chúng tôi là 100.000 token, bao gồm prompt và kết quả hoàn thành, vì vậy các tài liệu rất dài vừa, nhưng chúng tốn token đầu vào mỗi lần bạn gửi chúng.
Chi phí ẩn cần kiểm tra
- Mức nạp tiền tối thiểu. Của chúng tôi là $20, với bất kỳ số nguyên nào lên đến $500. Một nhà cung cấp có giá trên mỗi token thấp nhưng mức nạp tiền tối thiểu lớn có thể tốn kém hơn cho một dự án nhỏ.
- Hết hạn. Tín dụng hết hạn là tín dụng bạn có thể lãng phí. Tín dụng của chúng tôi không bao giờ hết hạn.
- Gói đăng ký. Phí hàng tháng biến dịch vụ trả theo token thành chi phí cố định. Của chúng tôi là trả theo mức sử dụng.
- Phí cho các lỗi. Các yêu cầu bị lỗi hoặc từ chối không bị tính phí tại đây. Hãy kiểm tra điều này trên bất kỳ nhà cung cấp nào bạn so sánh.
- Giới hạn tốc độ. Giá rẻ với trần yêu cầu thấp buộc bạn phải mua thêm tài khoản hoặc làm chậm quy trình của bạn. Một khóa đầy đủ ở đây cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút.
- Phí thanh toán và ưu đãi. Chúng tôi thêm +5% tín dụng từ $50, +10% từ $100 và +15% từ $200, vì vậy việc nạp $200 sẽ cho bạn $230.
Tỷ lệ của chúng tôi với các ví dụ tính toán
Tất cả các số liệu dưới đây sử dụng $0,15 cho mỗi 1 triệu đầu vào và $0,50 cho mỗi 1 triệu đầu ra.
| Khối công việc | Token | Chi phí |
|---|---|---|
| Một lượt trò chuyện: 2.000 đầu vào, 500 đầu ra | 2.500 | $0.0003 + $0.00025 = $0.00055 |
| 1.000 lượt như vậy | 2,5 triệu | $0,55 |
| Tóm tắt 10.000 bài báo: 3.000 đầu vào, 200 đầu ra mỗi bài | 32 triệu | $4,50 + $1,00 = $5,50 |
| Tạo 5.000 câu chuyện: 300 đầu vào, 1.500 đầu ra mỗi câu | 9 triệu | $0,225 + $3,75 = $3,975 |
Kiểm tra hàng tóm tắt: 10.000 x 3.000 = 30M token đầu vào, và 30 x $0,15 = $4,50. 10.000 x 200 = 2M token đầu ra, và 2 x $0,50 = $1,00. Tổng cộng là $5,50. Cho hàng câu chuyện: 5.000 x 300 = 1.5M đầu vào, tức là $0,225, và 5.000 x 1.500 = 7.5M đầu ra, tức là $3,75. Tổng cộng là $3,975.
Trang bảng giá liệt kê các mức giá và ưu đãi, và bạn có thể thanh toán bằng tiền mã hóa (USDT trên TRC20, USDC trên Base).
Đo chi phí thực tế bằng script
Đừng tin vào các ước tính trong thời gian dài. Chạy 50 prompt đại diện và để API trả về số token. Mã bên dưới in ra ước tính chi phí từ trường usage.
from openai import OpenAI
client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50 # dollars per 1M tokens
def cost(u):
return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000
total = 0.0
for p in open("prompts.txt"):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p.strip()}],
)
total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))Nhân số trung bình với số lượng yêu cầu hàng tháng dự kiến của bạn. Làm tương tự với mỗi nhà cung cấp bạn đang xem xét, và giữ chất lượng trong vòng lặp bằng cách đọc một mẫu câu trả lời. Một mô hình rẻ hơn nhưng cần hai lần thử cho mỗi tác vụ thì không hề rẻ.
So sánh năm bước bạn có thể hoàn thành trong một giờ
- Ghi lại số lượng token đầu vào và đầu ra dự kiến cho mỗi yêu cầu, từ một mẫu prompt thực tế.
- Nhân với giá đầu vào và đầu ra của mỗi nhà cung cấp, cho mỗi yêu cầu và mỗi tháng.
- Thêm các chi phí cố định: mức nạp tối thiểu, gói đăng ký và bất kỳ tín dụng nào hết hạn trước khi bạn sử dụng nó.
- Chạy cùng 20 prompt trên mỗi mô hình và chấm điểm các câu trả lời, để bạn so sánh chi phí cho mỗi câu trả lời tốt, chứ không phải chi phí cho mỗi token.
- Kiểm tra các giới hạn so với lưu lượng đỉnh của bạn. Nếu bạn cần hơn 8 yêu cầu cùng lúc, hãy hỏi xem bạn có thể chạy hàng đợi thay thế hay không.
Kết quả là một bảng với một hàng cho mỗi nhà cung cấp và một con số hàng tháng cho khối công việc của bạn. Bảng đó là câu trả lời thực sự cho câu hỏi trong tiêu đề, và nó vẫn hợp lệ cho đến khi một nhà cung cấp thay đổi giá của họ, vì vậy hãy kiểm tra lại nó sau mỗi vài tháng. So sánh các framework hữu ích nếu bạn cũng chạy các mô hình trên phần cứng của riêng mình, và trang Những lỗi API chat phổ biến liệt kê các lỗi âm thầm làm tăng hóa đơn, chẳng hạn như gửi lại cùng lịch sử hai lần.
Những gì tùy chọn giá rẻ không thể làm
Bất kể bạn chọn nhà cung cấp nào, bạn có thể cắt giảm chi phí theo bốn cách. Giới hạn max_tokens khi câu trả lời ngắn là đủ, vì đầu ra là phần tốn kém hơn. Rút gọn prompt hệ thống và loại bỏ các lượt hội thoại mà mô hình không còn cần nữa. Định tuyến các công việc đơn giản, chẳng hạn như phân loại, sang các prompt ngắn với định dạng đầu ra nghiêm ngặt. Và ghi lại token theo tính năng, để bạn nhận ra khi một mẫu prompt nào đó âm thầm tăng gấp đôi kích thước sau khi chỉnh sửa. Những thói quen này tiết kiệm được nhiều hơn là chuyển nhà cung cấp chỉ để tiết kiệm vài xu.
Dịch vụ này chỉ dành cho văn bản. Nó không có embedding, tạo hình ảnh hoặc âm thanh và không có tinh chỉnh, vì vậy nếu bạn cần những tính năng đó, bạn sẽ phải trả tiền cho một nhà cung cấp khác cho chúng. Nó chạy một mô hình trọng số mở từ một nhà cung cấp độc lập, được tinh chỉnh để trả lời mà không có từ chối nội dung cho mục đích người trưởng thành hợp pháp, và nó không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Nội dung tình dục liên quan đến người chưa thành niên luôn bị cấm.
Việc nó có phải là rẻ nhất cho bạn hay không phụ thuộc vào việc liệu mô hình đơn lẻ đó có đủ tốt cho nhiệm vụ của bạn hay không. Hãy thử miễn phí trước: người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API, không cần thẻ. Sau đó đọc tài liệu. Nếu bạn mới làm quen với các khái niệm cơ bản, suy luận LLM là gì bao gồm các thuật ngữ được sử dụng ở trên.
Hướng dẫn khác
Hỏi đáp
Một tin nhắn trò chuyện tốn bao nhiêu?
Một lượt với 2.000 token đầu vào và 500 token đầu ra tốn $0,00055, vì vậy 1.000 lượt tốn $0,55.
Có phí hàng tháng không?
Không. Bạn trả tiền theo mức sử dụng từ tín dụng trả trước, và tín dụng không bao giờ hết hạn.
Các yêu cầu thất bại có được tính phí không?
Không. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí.
Giá thấp nhất có luôn là mức giá tốt nhất không?
Không. Tỷ lệ đầu ra, độ dài ngữ cảnh, mức nạp tiền tối thiểu và chất lượng câu trả lời đều thay đổi chi phí thực tế.
Khóa của bạn chỉ cách một bước
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ cài đặt.
Lấy khóa API