LLM Inference APIHướng dẫn
So sánh khung suy luận LLM với API lưu trữ
So sánh khung suy luận LLM này bao gồm các công cụ bạn có thể tự chạy (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) và so sánh chúng với một API tương thích OpenAI được lưu trữ. Lựa chọn phù hợp phụ thuộc vào phần cứng, lưu lượng truy cập và lượng công việc vận hành mà bạn muốn.
Cập nhật:

Điểm chính
- vLLM, SGLang và TensorRT-LLM được xây dựng cho các máy chủ GPU với nhiều người dùng đồng thời; llama.cpp và Ollama được xây dựng cho một máy đơn lẻ, bao gồm cả máy tính xách tay.
- Tự lưu trữ mang lại quyền kiểm soát đối với trọng lượng và đường dẫn dữ liệu, nhưng bạn phải trả tiền cho phần cứng và chi phí bảo trì ngay cả khi không hoạt động.
- API lưu trữ không tốn chi phí khi không hoạt động và được tính phí theo token, phù hợp với lưu lượng không ổn định hoặc ở giai đoạn đầu.
- Hầu hết các công cụ này đều sử dụng định dạng API OpenAI, vì vậy việc chuyển đổi giữa chúng thường chỉ là thay đổi base URL.
Hai câu hỏi quyết định phần lớn
Trước khi so sánh các công cụ, hãy trả lời hai câu hỏi. Đầu tiên, bạn có cần tự chọn mô hình không? Nếu bạn phải chạy một bộ trọng lượng cụ thể, một dịch vụ lưu trữ chỉ cung cấp một mô hình sẽ không giúp được bạn, và một khung là cách duy nhất. Thứ hai, lưu lượng truy cập của bạn ổn định đến mức nào? Một GPU hoạt động liên tục 24 giờ một ngày là một khoản đầu tư tiền bạc hiệu quả. Một GPU chỉ xử lý các đợt tăng đột biến vào buổi tối và nhàn rỗi vào các thời điểm khác thì không.
Nếu câu trả lời cho câu hỏi đầu tiên là "bất kỳ mô hình nào có khả năng xử lý tốt các yêu cầu thông thường của người lớn là được" và câu trả lời cho câu hỏi thứ hai là "không ổn định", thì một API lưu trữ có lẽ là lựa chọn đơn giản hơn. Nếu bạn cần một bản tinh chỉnh cụ thể, có tải trọng lớn ổn định hoặc phải giữ mọi byte trên máy của mình, hãy xem xét các khung bên dưới.
Các khung, từng cái một
vLLM
Một công cụ phục vụ mã nguồn mở cho GPU. Nó nổi tiếng với việc ghép nối liên tục, giúp giữ cho GPU hoạt động bằng cách thêm các yêu cầu mới vào một lô đang chạy, và phương pháp phân trang cho bộ nhớ đệm KV giúp lãng phí ít bộ nhớ hơn. Nó đi kèm với máy chủ HTTP tương thích OpenAI. Đây là lựa chọn mặc định mạnh mẽ khi bạn có GPU cấp trung tâm dữ liệu và nhiều người dùng đồng thời. Quy trình thiết lập bao gồm trình điều khiển CUDA, các phiên bản tương thích và lập kế hoạch bộ nhớ mô hình.
SGLang
Một khung phục vụ mã nguồn mở khác nhằm mục đích phục vụ GPU có thông lượng cao, với các tính năng cho đầu ra có cấu trúc và tái sử dụng tiền tố. Nó nằm trong cùng danh mục với vLLM, và các nhóm thường so sánh hiệu năng của cả hai trên khối lượng công việc của riêng họ trước khi chọn một cái. Hãy thận trọng với bất kỳ bảng đánh giá nào được công bố: kết quả thay đổi tùy theo mô hình, phần cứng, độ dài prompt và phiên bản.
TensorRT-LLM
Thư viện của NVIDIA để biên dịch và chạy các mô hình trên GPU NVIDIA. Nó có thể khai thác hiệu suất đáng kể từ phần cứng đó, với cái giá là quy trình xây dựng và triển khai nặng hơn và sự phụ thuộc vào bộ công cụ của một nhà cung cấp. Nó có ý nghĩa khi bạn chạy một mô hình cố định ở quy mô lớn trên các thẻ NVIDIA và có kỹ sư để bảo trì nó.
llama.cpp
Một triển khai C/C++ chạy các mô hình đã lượng tử hóa ở định dạng GGUF trên CPU, Apple Silicon và nhiều GPU. Nó bao gồm llama-server, cung cấp một endpoint kiểu OpenAI. Việc lượng tử hóa làm giảm bộ nhớ cần thiết, với một số chi phí về chất lượng đầu ra phụ thuộc vào mức độ mạnh tay của việc lượng tử hóa. Đây là lựa chọn thực tế cho máy tính xách tay, máy chủ tại nhà hoặc công cụ ngoại tuyến.
Ollama
Một lớp bao thân thiện để chạy các mô hình cục bộ: bạn kéo một mô hình theo tên và nó xử lý việc tải xuống, lưu trữ và một máy chủ cục bộ, bao gồm cả endpoint tương thích OpenAI. Nó rất tuyệt vời cho các thử nghiệm và sử dụng cá nhân. Nó nhắm đến một người dùng hoặc một vài người, không phải để phục vụ một ứng dụng công cộng bận rộn.
Bên cạnh nhau
| Tùy chọn | Phù hợp nhất | Bạn quản lý | Mô hình chi phí |
|---|---|---|---|
| vLLM / SGLang | Nhiều người dùng trên GPU máy chủ | Trình điều khiển, GPU, mở rộng quy mô, cập nhật | Phần cứng, bất kể có hoạt động hay không |
| TensorRT-LLM | Mô hình cố định ở quy mô lớn trên thẻ NVIDIA | Xây dựng, triển khai, tinh chỉnh | Phần cứng cộng với thời gian kỹ thuật |
| llama.cpp | Máy tính xách tay, máy chủ nhỏ, sử dụng ngoại tuyến | Tệp mô hình, lựa chọn lượng tử hóa | Máy của riêng bạn |
| Ollama | Thử nghiệm cục bộ, công cụ cá nhân | Tải xuống mô hình, dung lượng đĩa | Máy của riêng bạn |
| API lưu trữ | Lưu lượng không ổn định hoặc giai đoạn đầu, không có vận hành GPU | Một khóa API và mã của bạn | Theo token, không có dữ liệu nào lưu trữ khi không hoạt động |
Bảng bỏ qua các số liệu về tốc độ một cách có chủ đích. Thông lượng phụ thuộc vào mô hình, lượng tử hóa, độ dài prompt và kích thước lô, vì vậy một con số từ thiết lập của người khác hiếm khi áp dụng được cho thiết lập của bạn.
API lưu trữ từ bỏ gì và mang lại gì
Phương án lưu trữ được mô tả trên trang web này là một API tương thích OpenAI chỉ xử lý văn bản, chạy một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. ID mô hình là uncensored. API hỗ trợ truyền phát, gọi hàm và chế độ JSON, với cửa sổ ngữ cảnh 100.000 token.
Điều bạn phải hy sinh rất rõ ràng. Bạn không thể chọn hoặc thay đổi trọng số. Bạn không thể tinh chỉnh. Không có embedding, không có tạo ảnh, âm thanh hoặc video, và dịch vụ bị giới hạn bởi giới hạn tốc độ: khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, khóa dùng thử cho phép 2 và 60. Đây cũng không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào.
Điều bạn nhận lại là không có cơ sở hạ tầng. Không có GPU để mua, không có công cụ để cập nhật và không có chi phí khi không hoạt động. Bạn trả $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra từ tín dụng trả trước không bao giờ hết hạn, và các yêu cầu bị lỗi hoặc bị từ chối sẽ không bị tính phí. Trang giá cả có các mức nạp tiền và ưu đãi.
Chi phí mà mọi người thường quên khi tự lưu trữ
Giá của GPU chỉ là dòng đầu tiên trong ngân sách. Các nhóm chuyển từ API sang máy chủ của riêng họ thường ngạc nhiên bởi dòng thứ hai và thứ ba.
- Dung lượng bộ nhớ dự phòng. Trọng số không phải là thứ duy nhất cần bộ nhớ GPU. Bộ nhớ cache KV tăng lên với mỗi yêu cầu đồng thời và mỗi token ngữ cảnh, vì vậy một card tải mô hình thoải mái vẫn có thể hết chỗ khi có 20 người dùng đồng thời với các prompt dài.
- Thời gian không hoạt động. Giờ qua đêm và cuối tuần tốn kém như giờ cao điểm. Tự động mở rộng quy mô có thể giúp ích, nhưng việc khởi động một nút GPU và tải các trọng lượng lớn mất vài phút, không phải vài giây.
- Nâng cấp và thay đổi đột phá. Các công cụ phục vụ được phát hành thường xuyên. Việc cập nhật trình điều khiển hoặc phiên bản công cụ mới có thể thay đổi hành vi, và ai đó cần kiểm tra nó trước khi đưa vào sản xuất.
- Xử lý an toàn và lạm dụng. Với việc triển khai của riêng bạn, chính sách lọc, ghi nhật ký và phản ứng với lạm dụng là do bạn thiết kế và chịu trách nhiệm.
Không có nghĩa là tự lưu trữ là một ý tưởng tồi. Điều đó có nghĩa là so sánh nên bao gồm thời gian nhân viên, không chỉ giá giờ của máy.
Một công cụ kiểm tra chi phí bạn có thể chạy với các số liệu của riêng mình
Cách so sánh trung thực nhất là định giá khối lượng công việc thực tế của bạn. Giả sử một ứng dụng sử dụng 100 triệu token đầu vào và 20 triệu token đầu ra trong một tháng.
- Đầu vào: 100 x $0,15 = $15.
- Đầu ra: 20 x $0,50 = $10.
- Tổng cộng: $25 cho tháng đó.
Bây giờ hãy đặt chi phí hàng tháng của giải pháp thay thế của bạn cạnh con số đó: chi phí máy chủ hoặc thuê GPU, điện nếu bạn sử dụng phần cứng riêng, và số giờ ai đó dành để duy trì hoạt động cho nó. Bạn hãy tự kiểm tra giá hiện tại cho phần cứng hoặc GPU đám mây vì chúng thay đổi thường xuyên. Nếu giải pháp thay thế của bạn rẻ hơn hóa đơn API ở khối lượng của bạn, và bạn có thể giữ cho máy hoạt động liên tục, việc tự lưu trữ sẽ tiết kiệm hơn về mặt chi phí. Nếu hóa đơn API thấp hơn, hoặc nếu tải của bạn không ổn định, giải pháp lưu trữ trên đám mây sẽ thắng thế.
Trường hợp ngược lại cũng quan trọng. Ở mức khối lượng gấp 10 lần, cùng một phép tính cho ra $250 một tháng, và một GPU chuyên dụng chạy mô hình bạn chọn có thể bắt đầu có vẻ tốt hơn, đặc biệt nếu bạn cần một mô hình mà dịch vụ này không cung cấp. Hãy chạy lại phép tính khi mức sử dụng của bạn thay đổi.
Mã client giống nhau ở cả hai phía
Một thuộc tính hữu ích của danh mục này là vLLM, llama.cpp, Ollama và hầu hết các dịch vụ lưu trữ đều cung cấp định dạng yêu cầu OpenAI. Mã ứng dụng của bạn không cần biết giải pháp nào đang chạy phía sau URL. Chỉ có base URL, khóa và tên mô hình là thay đổi. Dưới đây là client cho endpoint lưu trữ:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a helpful writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir short story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
Nếu sau này bạn chuyển sang máy chủ của riêng mình, bạn chỉ cần chỉnh sửa URL cơ sở và tên mô hình và để phần còn lại nguyên vẹn. Điều đó khiến việc bắt đầu với phương án lưu trữ trở nên ít rủi ro, đo lường khối lượng token thực tế của bạn và quyết định về phần cứng với dữ liệu. Trang khởi động nhanh bao gồm truyền phát, công cụ và chế độ JSON, và khóa dùng thử có sẵn từ trang khóa.
Bạn nên chọn cái nào
- Bạn muốn thử các ý tưởng trong tuần này: sử dụng API lưu trữ, hoặc Ollama nếu bạn có máy tính đủ mạnh và muốn mọi thứ chạy cục bộ.
- Bạn cần một mô hình chính xác hoặc tinh chỉnh riêng: vLLM hoặc SGLang trên GPU thuê hoặc sở hữu.
- Bạn chạy một mô hình cố định ở quy mô lớn trên phần cứng NVIDIA với một nhóm nền tảng: TensorRT-LLM đáng để thử nghiệm.
- Bạn cần hoạt động ngoại tuyến hoặc kích thước nhỏ gọn: llama.cpp với mô hình lượng tử hóa.
- Bạn cần một mô hình văn bản với ít từ chối và không cần xử lý phần cứng: endpoint lưu trữ tại đây, với các giới hạn ở trên trong đầu.
Hướng dẫn khác
Hỏi đáp
vLLM có tốt hơn llama.cpp không?
Chúng nhắm đến các thiết lập khác nhau. vLLM được xây dựng để phục vụ nhiều người dùng trên các GPU máy chủ, trong khi llama.cpp được xây dựng để chạy các mô hình đã lượng tử hóa trên một máy đơn lẻ, bao gồm cả CPU và máy tính xách tay.
Tôi có thể sử dụng SDK OpenAI với các framework này không?
Nói chung là có. vLLM, máy chủ của llama.cpp và Ollama đều cung cấp các endpoint tương thích OpenAI, cũng như API lưu trữ này. Bạn chỉ cần thay đổi base URL, khóa và tên mô hình.
Khi nào việc tự lưu trữ sẽ rẻ hơn API?
Khi chi phí hàng tháng cho phần cứng và bảo trì của bạn thấp hơn chi phí token của bạn trên API, và bạn có thể giữ cho phần cứng hoạt động liên tục. Hãy định giá khối lượng công việc của chính bạn ở mức $0,15 và $0,50 cho mỗi 1M token để tìm hiểu.
API lưu trữ có cho phép tôi chọn mô hình không?
Không. Nó phục vụ một mô hình duy nhất với ID uncensored. Nếu bạn cần các trọng số cụ thể, bạn cần tự chạy chúng.
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.
Lấy khóa API