VI ▾
Lấy khóa API

LLM Inference APIHướng dẫn

Chi phí LLM API hàng tháng: Bốn kịch bản thực tế

Bốn hóa đơn hàng tháng được tính chi tiết theo từng dòng với giá $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, kèm theo một script để định giá lưu lượng của bạn.

Cập nhật:

Bốn thanh kính tăng dần được lấp đầy bởi các khối lập phương phát sáng, mỗi khối đại diện cho một kịch bản chi phí hàng tháng
Minh họa đẳng cự các gói dữ liệu di chuyển từ terminal vào cổng đám mây, đại diện cho một lệnh gọi API suy luận

Điểm chính

  1. Định hướng bất kỳ SDK OpenAI nào về https://api.llminferenceapi.com/v1, sử dụng model ID là uncensored và gửi khóa của bạn dưới dạng token Bearer.
  2. Có hai endpoint khả dụng: POST /v1/chat/completions và GET /v1/models.
  3. Truyền phát, gọi hàm và chế độ JSON hoạt động thông qua các trường yêu cầu tiêu chuẩn.
  4. Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút; phản hồi 429 cho bạn biết giới hạn nào bạn đã đạt đến.

Tổng quan nhanh về bốn kịch bản

Nếu bạn đang cố tính chi phí API llm hàng tháng, một con số trung bình đơn lẻ không giúp ích gì, vì hóa đơn phụ thuộc vào số lượng yêu cầu bạn gửi và độ dài của chúng. Dưới đây là bốn cấu hình thực tế được định giá ở mức $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra. Mỗi cấu hình đều hiển thị các giả định của nó để bạn có thể thay thế bằng dữ liệu của riêng mình.

Kịch bảnYêu cầu mỗi thángToken mỗi yêu cầu (đầu vào / đầu ra)Chi phí hàng tháng
Bot trò chuyện sở thích6001.500 / 300$0,225
Cộng đồng Discord9.0003.000 / 400$5,85
Ứng dụng với 1,000 người dùng40,0002,500 / 500$25,00
Quy trình hàng loạt200,0001,200 / 250$61,00

Phần còn lại của bài viết trình bày các phép tính và các yếu tố điều khiển từng con số.

Kịch bản 1: một bot sở thích

Bạn chạy một bot cá nhân trả lời khoảng 20 tin nhắn mỗi ngày, tức 600 tin nhắn mỗi tháng. Mỗi tin nhắn kèm theo một prompt hệ thống ngắn và một số lịch sử, khoảng 1,500 token đầu vào, và câu trả lời trung bình 300 token.

  • Đầu vào: 600 x 1.500 = 0,9 triệu token, tốn 0,9 x $0,15 = $0,135.
  • Đầu ra: 600 x 300 = 0,18 triệu token, tốn 0,18 x $0,50 = $0,09.
  • Tổng cộng: $0,225 mỗi tháng.

Đây là trường hợp khoản nạp tiền tối thiểu $20 kéo dài hơn mọi trường hợp khác. Với tốc độ này, nó sẽ bao phủ hơn bảy năm sử dụng. Tín dụng không bao giờ hết hạn, vì vậy một dự án cá nhân có thể nằm trên một khoản nạp tiền mà không bị giới hạn thời gian.

Kịch bản 2: một bot cộng đồng Discord

Một bot trong một máy chủ hoạt động xử lý 300 yêu cầu mỗi ngày, tức 9,000 yêu cầu mỗi tháng. Nó đọc ngữ cảnh kênh gần đây, nên mỗi lệnh gọi có khoảng 3,000 token đầu vào và trả về khoảng 400.

  • Đầu vào: 9.000 x 3.000 = 27 triệu token, tức 27 x $0,15 = $4,05.
  • Đầu ra: 9.000 x 400 = 3,6 triệu token, tức 3,6 x $0,50 = $1,80.
  • Tổng cộng: $5,85 mỗi tháng.

Hãy chú ý phần đầu vào. Việc nhân đôi ngữ cảnh bạn dán vào mỗi lệnh gọi sẽ nhân đôi phần lớn của hóa đơn, trong khi độ dài câu trả lời hầu như không ảnh hưởng. Nhiều bot tiết kiệm chi phí bằng cách gửi sáu tin nhắn cuối thay vì hai mươi tin nhắn cuối. Ngoài ra, hãy kiểm tra giới hạn tốc độ: một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, cao hơn nhiều so với tải này, nhưng một máy chủ bận vẫn có thể tăng đột biến khi một luồng hội thoại tăng đột biến về lượng tin nhắn. Hãy xếp hàng các yêu cầu trong bot để bạn luôn nằm trong giới hạn.

Kịch bản 3: ứng dụng với 1,000 người dùng

Giả sử mỗi trong số 1.000 người dùng hàng tháng gửi 40 yêu cầu, tạo ra 40,000 yêu cầu. Một yêu cầu chứa 2.500 token đầu vào (prompt hệ thống cộng với lịch sử) và trả về 500 token.

  • Đầu vào: 40.000 x 2.500 = 100 triệu token, tức 100 x $0,15 = $15,00.
  • Đầu ra: 40.000 x 500 = 20 triệu token, tức 20 x $0,50 = $10,00.
  • Tổng cộng: $25,00 mỗi tháng, tương đương 2,5 cent mỗi người dùng.

Ở đây, đầu ra chiếm 40% hóa đơn mặc dù chỉ bằng một phần sáu số token, vì nó tốn nhiều hơn ba lần cho mỗi token. Các câu trả lời ngắn gọn có lợi. Nếu bạn yêu cầu các phản hồi 250 token thay vì 500, dòng đầu ra sẽ giảm xuống còn $5,00 và tổng số tiền là $20,00. Một khoản nạp tiền $20 sẽ sau đó bao phủ ứng dụng này trong một tháng, và một khoản nạp tiền $100, đi kèm với khoản thưởng +10% và do đó cung cấp $110 tín dụng, sẽ bao phủ khoảng năm tháng.

Kịch bản 4: quy trình hàng loạt

Các công việc hàng loạt mở rộng theo số lượng tài liệu. Giả sử bạn gắn thẻ hoặc viết lại 200.000 mục trong một tháng, mỗi mục có 1.200 token đầu vào và kết quả 250 token.

  • Đầu vào: 200.000 x 1.200 = 240 triệu token, tức 240 x $0,15 = $36,00.
  • Đầu ra: 200.000 x 250 = 50 triệu token, tức 50 x $0,50 = $25,00.
  • Tổng cộng: $61,00 mỗi tháng.

Đối với công việc theo lô, giới hạn quan trọng là thông lượng, không phải giá cả. Với 8 yêu cầu đồng thời, thời gian thực hiện công việc bằng số lượng yêu cầu chia cho 8, nhân với thời gian trung bình của một yêu cầu. Hãy tính toán độ trễ của chính bạn trước khi lập kế hoạch, và giữ nhóm worker ở mức 8 hoặc ít hơn để không kích hoạt lỗi concurrency. Các yêu cầu thất bại không bị tính phí, nên việc thử lại chúng sẽ không tốn thêm chi phí.

Ước tính tháng của bạn

Công thức rất ngắn gọn: chi phí hàng tháng = số yêu cầu x (số token đầu vào x $0,15 + số token đầu ra x $0,50) / 1.000.000. Script này thực hiện phép tính và cũng đọc số token thực tế nếu bạn chạy một mẫu trước.

from openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")

def monthly(requests, tokens_in, tokens_out):
    return requests * (tokens_in * 0.15 + tokens_out * 0.50) / 1_000_000

print(monthly(40_000, 2_500, 500))   # 25.0

# sample 20 real prompts, then use the measured averages
ins, outs = [], []
for p in open("prompts.txt").read().splitlines()[:20]:
    r = client.chat.completions.create(
        model="uncensored", messages=[{"role": "user", "content": p}])
    ins.append(r.usage.prompt_tokens)
    outs.append(r.usage.completion_tokens)
print(monthly(10_000, sum(ins) / len(ins), sum(outs) / len(outs)))

Chạy mẫu tốn một phần nhỏ của một xu. Người dùng mới có thể nhận $0,50 tín dụng dùng thử trên trang khóa API để chạy nó mà không phải trả gì, và trang giá cả hiển thị các tỷ lệ và khoản thưởng nạp tiền.

Yếu tố ảnh hưởng lớn nhất đến hóa đơn

Trên tất cả bốn kịch bản, cùng các đòn bẩy này làm thay đổi tổng chi phí:

  1. Kích thước ngữ cảnh. Lịch sử và tài liệu dán vào làm tăng chi phí đầu vào. Hãy cắt giảm chúng.
  2. Độ dài đầu ra. Đầu ra tốn $0,50 cho 1 triệu token, nên hãy yêu cầu độ dài bạn cần và đặt max_tokens khi cần thiết.
  3. Các lần thử lại và vòng lặp. Một lỗi lặp lại các lệnh gọi có thể khiến chi phí tăng lên bằng mức chi phí của một tháng chỉ trong một giờ. Hãy giới hạn số lần thử lại.
  4. Tăng trưởng lưu lượng. Chi phí tăng tuyến tính theo số yêu cầu. Nhân đôi người dùng, nhân đôi hóa đơn.

Lập kế hoạch ngân sách

Chọn kịch bản gần nhất với dự án của bạn và nhân với hệ số an toàn là hai cho tháng đầu tiên, vì lưu lượng thực hiếm khi đều đặn như một bảng tính. Sau đó, đặt cảnh báo số dư thấp. Mọi phản hồi đều có tiêu đề X-Balance-USD, vì vậy ứng dụng của bạn có thể gửi email cho bạn khi tín dụng giảm dưới một số bạn chọn, và bạn nạp tiền trước khi mọi thứ dừng lại. Nếu lưu lượng của bạn tăng gấp mười lần, hóa đơn sẽ tăng gấp mười lần: bot Discord ở mức 10x sẽ tốn $58.50, và ứng dụng với 10.000 người dùng là $250.00. Không có mức giá theo bậc, vì vậy không có giới hạn gói giá nào để vượt qua.

Tài trợ

Bạn thanh toán từ tín dụng trả trước mà không có đăng ký, nên một tháng yên tĩnh sẽ tốn rất ít chi phí. Các khoản nạp tiền dao động từ $20 đến $500, bằng tiền mã hóa (USDT trên TRC20, USDC trên Base), với +5% từ $50, +10% từ $100 và +15% từ $200.

Giới hạn của các ước tính này

Hai điều mà các kịch bản chưa đề cập đến. Thứ nhất, chúng giả định việc sử dụng ổn định, trong khi các sản phẩm thực tế có những đỉnh điểm, chẳng hạn như ngày ra mắt hoặc một chuỗi bài đăng lan truyền, và một ngày đỉnh điểm có thể tiêu tốn ngân sách dành cho một tuần. Thứ hai, chúng giả định các prompt giữ nguyên kích thước. Các thay đổi về sản phẩm thường làm tăng kích thước của hệ thống prompt, và việc thêm 500 token vào một lệnh gọi được thực hiện 40.000 lần một tháng sẽ thêm 20 triệu token đầu vào, tương đương $3,00. Hãy đo lại sau mỗi lần thay đổi prompt.

Đây là các phép tính, không phải lời hứa về việc sử dụng của bạn. Các prompt thực tế khác nhau, và số lượng token của bạn phụ thuộc vào ngôn ngữ và nội dung bạn gửi. Đây là một API chỉ văn bản, vì vậy chi phí cho embedding, hình ảnh hoặc âm thanh nằm ngoài các số liệu này. Dịch vụ chạy một mô hình trọng số mở từ một nhà cung cấp độc lập, được tinh chỉnh để trả lời không từ chối nội dung cho việc sử dụng người lớn hợp pháp.

Để biết định nghĩa của các thuật ngữ được sử dụng ở đây, hãy xem suy luận LLM là gì. Các lỗi làm tăng hóa đơn một cách âm thầm được liệt kê dưới các lỗi phổ biến của API chat AI. Tài liệu bao gồm định dạng yêu cầu.

Hỏi đáp

Một bot nhỏ tốn bao nhiêu mỗi tháng?

Một bot với 600 tin nhắn mỗi tháng, 1.500 token đầu vào và 300 token đầu ra tốn $0,225.

Có phí hàng tháng bổ sung cho chi phí token không?

Không. Bạn trả tiền theo token từ tín dụng trả trước, và tín dụng không hết hạn.

Số tiền nạp tối thiểu là bao nhiêu?

$20, với bất kỳ số nguyên nào lên đến $500. Các khoản thưởng 5%, 10% và 15% áp dụng từ $50, $100 và $200.

Các yêu cầu thất bại có tốn tiền không?

Không. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API