LLM Inference APIHướng dẫn
LLM Inference là gì? Token, độ trễ và chi phí
Nếu bạn đang hỏi LLM Inference là gì, thì ngắn gọn nhất là: đây là bước mà một mô hình ngôn ngữ đã huấn luyện đọc prompt của bạn và viết ra câu trả lời, từng token một. Trang này giải thích cách hoạt động và chi phí của nó.
Cập nhật:

Điểm chính
- Inference là việc chạy một mô hình hoàn chỉnh để tạo kết quả; huấn luyện là bước trước đó, tốn kém hơn nhiều, đã tạo ra mô hình đó.
- Một yêu cầu có hai giai đoạn: đọc prompt (prefill) và viết câu trả lời từng token một (decoding).
- Chi phí và tốc độ đều phụ thuộc vào số lượng token, nên độ dài đầu vào, độ dài đầu ra và cửa sổ ngữ cảnh quan trọng hơn bất kỳ yếu tố nào khác.
- Với API được lưu trữ, bạn trả tiền theo token và bỏ qua việc phải có GPU; với phần cứng của riêng bạn, bạn trả tiền cho máy dù nó có bận hay không.
Inference trong một đoạn văn
Mô hình ngôn ngữ lớn là một tệp chứa đầy các con số, gọi là trọng số. Huấn luyện là quá trình thiết lập các con số đó bằng cách cho mô hình xem lượng lớn văn bản. Inference là mọi thứ xảy ra sau đó, khi bạn sử dụng các trọng số hoàn chỉnh để lấy câu trả lời. Mọi tin nhắn trò chuyện bạn gửi cho mô hình, mọi gợi tự động điền và mọi lệnh gọi API trả về văn bản đều là một yêu cầu inference.
Sự khác biệt này quan trọng vì hai công việc này có cấu trúc chi phí khác nhau. Huấn luyện diễn ra một lần (hoặc vài lần) và cần một cụm máy lớn. Suy luận diễn ra mỗi khi ai đó gửi một prompt, vì vậy đây là phần mở rộng theo người dùng của bạn. Khi mọi người nói về chi phí chạy một sản phẩm AI, họ hầu như luôn đề cập đến chi phí suy luận.
Mô hình không "tra cứu" câu trả lời. Nó tính toán xác suất cho mọi token tiếp theo có thể, chọn một token, nối nó vào văn bản và lặp lại. Chu trình đó là toàn bộ cơ chế, và phần còn lại của trang này là cái nhìn sâu hơn về nó.
Điều gì xảy ra trong một yêu cầu
Hãy xem xét một yêu cầu trò chuyện đơn lẻ và theo dõi nó từ mã của bạn đến ký tự cuối cùng.
- Phân đoạn token. Văn bản của bạn được chia thành các token, là các đoạn ký tự. Một token thường là một từ ngắn hoặc một phần của một từ dài hơn. Quy tắc chung cho tiếng Anh là khoảng bốn ký tự trên mỗi token, nhưng nó thay đổi tùy theo ngôn ngữ và nội dung như mã nguồn.
- Prefill. Mô hình xử lý tất cả các token prompt trong một lượt. Đây là công việc song song và nó xây dựng trạng thái nội bộ mà mô hình cần để tiếp tục văn bản.
- Decoding. Mô hình tạo ra token đầu ra đầu tiên, sau đó là token thứ hai, v.v. Mỗi token mới phụ thuộc vào tất cả các token trước đó, nên giai đoạn này là tuần tự. Đây là phần chậm của hầu hết các yêu cầu.
- Lấy mẫu. Tại mỗi bước, mô hình có điểm số cho mọi token trong bảng từ vựng của nó. Các cài đặt như
temperaturevàtop_pquyết định cách chọn token tiếp theo từ những điểm số đó. Nhiệt độ thấp chọn token có khả năng cao nhất hầu như mọi lúc; nhiệt độ cao hơn cho phép nhiều biến thể hơn. - Dừng. Quá trình sinh kết thúc khi mô hình phát ra token kết thúc văn bản, khi nó đạt đến một chuỗi
stopmà bạn đã xác định, hoặc khi nó đạt đến giới hạn token.
Prefill và giải mã gây áp lực lên phần cứng theo những cách khác nhau. Prefill bị giới hạn chủ yếu bởi khả năng tính toán thô. Giải mã bị giới hạn chủ yếu bởi tốc độ mà GPU có thể đọc trọng số mô hình từ bộ nhớ, vì mỗi token đều cần truy cập vào chúng. Đó là lý do tại sao một câu trả lời dài mất nhiều thời gian hơn một câu hỏi dài có cùng kích thước.
Token, cửa sổ ngữ cảnh và KV cache
Mọi thứ trong suy luận đều được đo bằng token. Prompt của bạn, thông báo hệ thống, các lượt hội thoại trước đó và câu trả lời đều được tính. Cửa sổ ngữ cảnh là số lượng token tối đa mà mô hình có thể giữ cùng một lúc, bao gồm cả prompt và kết quả. Trên dịch vụ này, cửa sổ ngữ cảnh là 100.000 token, và phần kết quả có thể sử dụng bất kỳ khoảng trống nào mà prompt để lại.
Để tránh tính lại toàn bộ cuộc trò chuyện cho mỗi token mới, các công cụ suy luận giữ một bộ nhớ đệm KV: các khóa và giá trị trung gian cho các token đã được xử lý. Bộ nhớ đệm này tăng theo độ dài của ngữ cảnh và chiếm bộ nhớ GPU. Đây là lý do chính khiến các ngữ cảnh dài tốn kém khi phục vụ, và lý do một máy chủ chỉ có thể xử lý một số lượng yêu cầu có ngữ cảnh dài nhất định cùng một lúc.
Một hệ quả thực tế cho bạn với tư cách là nhà phát triển: một cuộc trò chuyện gửi lại toàn bộ lịch sử ở mỗi lượt sẽ trả tiền cho lịch sử đó mỗi lần. Nếu một cuộc trò chuyện phát triển lên 20.000 token, mọi tin nhắn mới đều mang theo 20.000 token đầu vào đó. Việc cắt ngắn hoặc tóm tắt các lượt cũ là cách tối ưu hóa tốc độ và chi phí rẻ nhất dành cho bạn, và nó không cần thay đổi ở phía máy chủ.
Độ trễ: tại sao có hai con số
Mọi người thường hỏi mô hình nhanh như thế nào, nhưng có hai phép đo riêng biệt.
- Thời gian đến token đầu tiên. Thời gian bạn chờ đợi trước khi bất kỳ văn bản nào xuất hiện. Nó bao gồm thời gian mạng, thời gian chờ tại máy chủ và giai đoạn tiền xử lý. Các prompt dài làm tăng thời gian này.
- Tốc độ sinh. Tốc độ token xuất hiện sau token đầu tiên. Nó phụ thuộc vào kích thước mô hình, phần cứng và số lượng yêu cầu khác mà cùng một GPU đang phục vụ tại thời điểm đó.
Truyền phát tồn tại vì sự phân chia này. Với stream: true, máy chủ gửi các token khi chúng được tạo ra, vì vậy người dùng bắt đầu đọc sau token đầu tiên thay vì chờ đợi câu trả lời đầy đủ. Tổng thời gian là như nhau, nhưng giao diện cảm thấy nhanh hơn nhiều. Đối với công cụ trò chuyện, nhập vai và viết lách, truyền phát gần như luôn là mặc định đúng.
Một chi tiết cần nhớ khi bạn lập kế hoạch độ đồng thời: một yêu cầu stream giữ slot của nó cho đến khi stream kết thúc, không phải cho đến khi token đầu tiên đến. Nếu khóa của bạn cho phép 8 yêu cầu đồng thời, tám stream dài đang chạy có nghĩa là yêu cầu thứ chín phải chờ hoặc nhận phản hồi 429.
Chi phí inference, với các con số thực tế
Suy luận được lưu trữ được tính phí theo token, với giá riêng cho đầu vào và đầu ra vì các token đầu ra đòi hỏi nhiều công việc hơn. Dịch vụ này tính $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, từ tín dụng trả trước mà không cần đăng ký gói. Dưới đây là cách tính chi phí cho một vài yêu cầu điển hình.
| Yêu cầu | Token đầu vào | Token đầu ra | Chi phí |
|---|---|---|---|
| Tin nhắn trò chuyện ngắn | 500 | 300 | $0.000075 + $0.00015 = $0.000225 |
| Trò chuyện với lịch sử | 2,000 | 500 | $0.0003 + $0.00025 = $0.00055 |
| Tóm tắt tài liệu dài | 30,000 | 1,000 | $0.0045 + $0.0005 = $0.005 |
| Prompt đầy đủ 100,000 token, câu trả lời ngắn | 100,000 | 500 | $0.015 + $0.00025 = $0.01525 |
Toán học rất đơn giản: chia số lượng token cho một triệu và nhân với giá. Đối với hàng trò chuyện với lịch sử, 2.000 / 1.000.000 x $0.15 = $0.0003 và 500 / 1.000.000 x $0.50 = $0.00025, cộng lại thành $0.00055. Một nghìn yêu cầu như vậy tốn $0.55.
Hai chi tiết về hóa đơn giúp bạn khi lập ngân sách. Các yêu cầu thất bại hoặc bị từ chối không được tính phí, và tín dụng không hết hạn, vì vậy việc nạp tiền không phải là một đồng hồ đếm ngược. Mọi phản hồi đều có tiêu đề X-Balance-USD, cho phép mã của bạn theo dõi số dư còn lại mà không cần gọi riêng.
Inference được lưu trữ hoặc GPU của riêng bạn
Bạn có hai cách để có được inference. Bạn có thể thuê hoặc mua GPU, cài đặt công cụ phục vụ và chạy một mô hình của riêng bạn. Hoặc bạn có thể gọi API và để người khác vận hành phần cứng.
Chạy nó bằng chính bạn cho bạn quyền kiểm soát đầy đủ đối với các tệp mô hình, các cài đặt và đường dẫn dữ liệu. Giá là công việc vận hành: chọn phần cứng phù hợp với trọng số cộng với KV cache, cập nhật trình điều khiển và công cụ, xử lý các đỉnh lưu lượng và trả tiền cho máy trong giờ thấp điểm. Một API được lưu trữ biến điều đó thành hóa đơn theo token. Nó thường là đường nhanh hơn khi lưu lượng của bạn không đều hoặc bạn vẫn đang kiểm tra một ý tưởng.
Dịch vụ được mô tả ở đây là một API chỉ văn bản tương thích với OpenAI, được lưu trữ. Nó chạy một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không có từ chối nội dung cho việc sử dụng người lớn hợp pháp. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào, và nó không tạo hình ảnh, âm thanh hoặc video, tạo embedding hoặc tinh chỉnh mô hình. Nếu bạn cần bất kỳ tính năng nào trong số đó, bạn cần một công cụ khác. Nếu bạn cần tạo văn bản đơn giản với ít từ chối, hướng dẫn bắt đầu nhanh cho thấy cách thiết lập, và trang giá cả liệt kê các tùy chọn nạp tiền.
Thử một lệnh gọi inference
Cách nhanh nhất để làm rõ khái niệm này là gửi một yêu cầu và đọc các số mà nó trả về. Sau khi tạo khóa, lệnh curl này gửi một yêu cầu hoàn thành trò chuyện đến endpoint:
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
"max_tokens": 120
}'
Phản hồi JSON bao gồm một đối tượng usage với prompt_tokens, completion_tokens và total_tokens. Nhân những số đó với giá ở trên và bạn có chi phí chính xác của cuộc gọi. Điều tương tự trong Python với SDK OpenAI:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
max_tokens=120,
)
u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))
Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa sau khi đăng ký. Không cần thẻ, thời hạn 7 ngày, và với các giá trên, nó chi trả cho khoảng hai nghìn tin nhắn trò chuyện ngắn. Nếu có thứ gì đó trả về một lỗi bạn không nhận ra, bài viết khắc phục sự cố liệt kê các nguyên nhân thường gặp.
Hướng dẫn khác
Hỏi đáp
Suy luận có giống với việc chạy mô hình không?
Có. Việc chạy một mô hình đã huấn luyện trên dữ liệu mới để tạo kết quả chính là suy luận. Huấn luyện, điều chỉnh trọng số, là một bước khác và diễn ra trước đó.
Tại sao đầu ra đắt hơn đầu vào?
Các token đầu vào được xử lý cùng nhau trong một lượt đồng thời, trong khi các token đầu ra được tạo ra từng cái một. Các nhà cung cấp định giá phần tuần tự chậm hơn cao hơn, và dịch vụ này tính $0.50 so với $0.15 cho mỗi 1M token.
Cửa sổ ngữ cảnh dài hơn có làm cho các yêu cầu chậm hơn không?
Thường là có. Một prompt dài hơn có nghĩa là nhiều công việc tiền xử lý hơn và bộ nhớ đệm KV lớn hơn, do đó thời gian để có token đầu tiên tăng lên. Bạn chỉ trả tiền cho các token bạn thực sự gửi và nhận, không phải cho phần chưa sử dụng của cửa sổ 100,000 token.
Bạn có cần GPU để sử dụng API suy luận không?
Không. Nhà cung cấp chạy phần cứng. Bạn gửi các yêu cầu HTTPS từ bất kỳ máy nào, bao gồm máy tính xách tay hoặc máy chủ nhỏ.
Khóa của bạn chỉ cách một bước điền biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.
Lấy khóa API