VI ▾
Lấy khóa API

LLM Inference APIHướng dẫn

LLM Inference API: Truyền phát, công cụ và chế độ JSON

API suy luận LLM cho phép bạn gửi một prompt qua HTTPS và nhận văn bản được tạo lại, không cần GPU ở phía bạn. Trang này hiển thị một thiết lập hoạt động với một endpoint tương thích OpenAI, từ yêu cầu đầu tiên đến truyền phát, công cụ, chế độ JSON và giới hạn tốc độ.

Cập nhật:

Minh họa đẳng cự các gói dữ liệu di chuyển từ terminal vào cổng đám mây, đại diện cho một lệnh gọi API suy luận

Điểm chính

  1. Định hướng bất kỳ SDK OpenAI nào về https://api.llminferenceapi.com/v1, sử dụng model ID là uncensored và gửi khóa của bạn dưới dạng token Bearer.
  2. Có hai endpoint khả dụng: POST /v1/chat/completions và GET /v1/models.
  3. Truyền phát, gọi hàm và chế độ JSON hoạt động thông qua các trường yêu cầu tiêu chuẩn.
  4. Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút; phản hồi 429 cho bạn biết giới hạn nào bạn đã đạt.

Những gì bạn cần trước khi gọi API đầu tiên

Bạn cần ba thứ: một base URL, một khóa và tên mô hình. Base URL là https://api.llminferenceapi.com/v1, ID mô hình là uncensored, và khóa lấy từ trang khóa API sau khi bạn đăng ký bằng Google hoặc bằng email và mật khẩu. Người dùng mới có thể nhận $0.50 tín dụng dùng thử ở đó chỉ với một cú nhấp chuột. Nó không cần thẻ, kéo dài 7 ngày và giới hạn một lần cho mỗi người.

Dịch vụ chỉ hỗ trợ văn bản. Nó cung cấp POST /v1/chat/completions và GET /v1/models. Không có endpoint embeddings, không tạo ảnh hoặc âm thanh và không fine-tuning. Nó chạy một mô hình open-weight, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Một quy tắc cứng duy nhất áp dụng: nội dung khiêu dâm hóa người chưa thành niên không được phép.

Giữ khóa trong biến môi trường thay vì trong mã nguồn. Các ví dụ bên dưới đọc nó từ API_KEY khi ngôn ngữ cho phép.

Yêu cầu đầu tiên của bạn

Bắt đầu với curl, vì nó hiển thị chính xác những gì được truyền qua mạng.

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "List three uses of a message queue."}
    ],
    "temperature": 0.7
  }'

Phản hồi là đối tượng hoàn thành chat thông thường: choices[0].message.content giữ văn bản và usage giữ số lượng token. Bạn cũng có thể liệt kê các mô hình với GET /v1/models, đây là cách nhanh chóng để xác nhận rằng khóa và URL là đúng trước khi bạn gỡ lỗi bất cứ điều gì khác.

Trong Python với SDK OpenAI chính thức, chỉ hàm tạo thay đổi:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three uses of a message queue."}],
)
print(resp.choices[0].message.content)

Và trong Node:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llminferenceapi.com/v1",
  apiKey: process.env.API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "List three uses of a message queue." }],
});
console.log(resp.choices[0].message.content);

Phần hoàn thành có thể sử dụng bất cứ thứ gì còn lại của cửa sổ 100.000 token sau prompt của bạn, vì vậy max_tokens là tùy chọn. Đặt nó bất kể khi bạn muốn một giới hạn cứng về chi phí hoặc độ dài. Các điều khiển lấy mẫu như temperature, top_p, stop, seed và các hình phạt tần suất và hiện diện được chuyển tiếp.

Hai cài đặt đáng biết ngay từ đầu. seed làm cho lấy mẫu có thể lặp lại đủ cho việc kiểm tra, điều này giúp khi bạn so sánh hai phiên bản của một prompt và muốn sự khác biệt đến từ prompt thay vì từ ngẫu nhiên. stop nhận một hoặc nhiều chuỗi kết thúc việc tạo ngay khi mô hình viết chúng, một cách tiết kiệm để cắt ngắn một phản hồi tại một dấu phân cách và tránh trả tiền cho các token bạn sẽ loại bỏ.

Phản hồi streaming

Với stream: true máy chủ trả lời qua sự kiện gửi từ máy chủ và gửi văn bản dưới dạng các phần cập nhật nhỏ. Người dùng thấy những từ đầu tiên nhanh chóng, điều này quan trọng trong các giao diện chat. Số liệu sử dụng token đến vào cuối luồng.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about a lighthouse."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

Hai điểm dễ bị bỏ qua. Đầu tiên, chunk cuối cùng có thể mang thông tin sử dụng và một danh sách choices trống, vì vậy hãy kiểm tra xem choices có không rỗng trước khi truy cập vào nó. Thứ hai, một yêu cầu stream giữ slot đồng thời của nó cho đến khi luồng kết thúc. Nếu một khách hàng mở một stream và không bao giờ đọc nó đến cuối, slot đó vẫn bận và các yêu cầu sau của bạn có thể chạm lỗi concurrency. Luôn đóng hoặc tiêu thụ đầy đủ các stream.

Gọi hàm

Gọi hàm cho phép mô hình yêu cầu mã của bạn chạy một hàm và sử dụng kết quả. Bạn mô tả các hàm trong tools, tùy chọn điều hướng lựa chọn bằng tool_choice, thực thi bất kỳ yêu cầu nào của mô hình và gửi kết quả lại dưới dạng tin nhắn với role: "tool".

import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its id.",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1043?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"order_id": args["order_id"], "status": "shipped"}
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": json.dumps(result),
        })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

Luôn phân tích function.arguments một cách phòng thủ. Đó là một chuỗi JSON được tạo bởi một mô hình ngôn ngữ, và trong những trường hợp hiếm, nó có thể bị lỗi hoặc chứa một trường bạn chưa xác định. Xác thực nó trước khi hành động dựa trên nó, đặc biệt khi hàm thay đổi dữ liệu. Các lệnh gọi công cụ cũng hoạt động với streaming, trong trường hợp đó tool_calls đến dưới dạng các mảnh bạn phải nối theo chỉ mục trước khi phân tích.

Quản lý lịch sử hội thoại

API không có trạng thái. Nó không nhớ các yêu cầu trước đó, vì vậy một cuộc trò chuyện nhiều lượt chỉ hoạt động khi mã của bạn gửi lại các lượt trước đó mỗi lần. Hãy giữ một danh sách các tin nhắn, thêm tin nhắn mới của người dùng, gọi endpoint, sau đó thêm phản hồi của trợ lý trước lượt tiếp theo.

history = [{"role": "system", "content": "You are a patient writing coach."}]

def chat(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=history)
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

print(chat("Give me a prompt for a ghost story."))
print(chat("Make it set on a ferry."))

Vì mỗi lượt gửi lại lịch sử, số token đầu vào tăng lên theo độ dài của cuộc trò chuyện. Cửa sổ ngữ cảnh chứa 100,000 token, đủ cho hầu hết các cuộc trò chuyện, nhưng chi phí tăng đáng kể trước khi bạn đạt giới hạn. Một mẫu phổ biến là giữ lại tin nhắn hệ thống và vài lượt gần nhất, và thay thế các lượt cũ bằng một tóm tắt ngắn mà chính mô hình viết. Hãy đọc usage.prompt_tokens sau mỗi lần gọi để xem lịch sử đã lớn đến mức nào.

Chế độ JSON

Khi bạn cần đầu ra có thể đọc được bằng máy, đặt response_format thành {"type": "json_object"} và nói trong prompt rằng bạn muốn JSON. Mô tả các khóa bạn mong đợi làm cho kết quả ổn định hơn nhiều.

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with JSON only, using the keys title, tags and summary."},
        {"role": "user", "content": "Describe a short story about a lost robot."},
    ],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])

Chế độ JSON làm cho đầu ra phân tích thành JSON, nhưng nó không thực hiện schema của bạn. Kiểm tra các khóa trong mã và giữ một phương án dự phòng cho trường hợp một giá trị bị thiếu. Nếu phản hồi bị cắt ngắn vì nó đạt giới hạn token, JSON sẽ không đầy đủ, vì vậy đừng đặt max_tokens quá thấp cho đầu ra có cấu trúc.

Danh sách kiểm tra ngắn khi có sự cố

Hầu hết các vấn đề ngày đầu tiên đến từ một vài nguyên nhân, và bạn có thể loại trừ chúng theo thứ tự.

  1. Base URL. Nó phải kết thúc bằng /v1. SDK của bạn tự thêm /chat/completions, vì vậy một URL có đường dẫn đã bao gồm sẽ không hoạt động.
  2. Tiêu đề Authorization. Khóa nằm trong Authorization: Bearer theo sau bởi khóa. Một khoảng trắng thừa hoặc ký tự xuống dòng được sao chép cùng với khóa là nguyên nhân thường gặp của lỗi xác thực.
  3. ID mô hình. Sử dụng uncensored chính xác. Tên của các mô hình của nhà cung cấp khác không hợp lệ ở đây.
  4. Kích thước yêu cầu. Giới hạn thân là 8 MB, và prompt cộng với phần hoàn thành phải vừa trong 100.000 token.
  5. Số dư. Xem header X-Balance-USD trên bất kỳ phản hồi nào để xem liệu tín dụng có phải là vấn đề không.
  6. Nhập ID yêu cầu. Nếu bạn liên hệ hỗ trợ, hãy bao gồm giá trị X-Request-Id từ phản hồi bị lỗi để yêu cầu có thể được tìm thấy.

Hãy nhớ rằng việc từ chối không giống như một lỗi. Vì mô hình được tinh chỉnh để tránh từ chối nội dung cho mục đích người trưởng thành hợp pháp, bạn sẽ thấy ít trường hợp hơn so với các dịch vụ có bộ lọc, nhưng mô hình vẫn có thể từ chối hoặc đưa ra câu trả lời yếu cho một prompt mơ hồ. Một tin nhắn hệ thống rõ ràng hơn thường khắc phục điều đó tốt hơn việc tăng nhiệt độ.

Giới hạn, header và thử lại

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Một khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 mỗi phút. Thân yêu cầu có thể lên đến 8 MB. Mỗi phản hồi mang X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency, rất hữu ích cho ghi nhật ký và hiển thị số dư trên màn hình quản trị.

Khi bạn vượt quá giới hạn, API trả về HTTP 429. Mã lỗi rate_limited nghĩa là quá nhiều yêu cầu mỗi phút, và concurrency nghĩa là quá nhiều cùng lúc. Khi quá tải tạm thời, bạn cũng nhận được 429, với header Retry-After: 5. Một trình bao bọc thử lại đơn giản bao gồm cả ba:

import time
from openai import RateLimitError

def ask(messages, tries=4):
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = 5 if attempt == 0 else 5 * (attempt + 1)
            retry_after = getattr(e.response, "headers", {}).get("retry-after")
            time.sleep(int(retry_after) if retry_after else wait)
    raise RuntimeError("still rate limited after retries")

Đối với một nhóm worker, giới hạn kích thước nhóm ở giới hạn đồng thời của bạn thay vì dựa vào các lần thử lại. Tám worker trên một khóa đầy đủ hiếm khi thấy lỗi concurrency. Nếu bạn có gặp lỗi không mong đợi, bài viết khắc phục sự cố đi qua các nguyên nhân phổ biến.

Thanh toán cho nó

Hóa đơn là trả theo mức sử dụng từ tín dụng trả trước: $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra, không đăng ký. Các yêu cầu bị lỗi hoặc bị từ chối không được tính phí, và tín dụng không bao giờ hết hạn. Một yêu cầu với 1.500 token đầu vào và 400 token đầu ra tốn 1.500 / 1.000.000 x $0.15 + 400 / 1.000.000 x $0.50 = $0.000225 + $0.0002 = $0.000425.

Nạp tiền là bất kỳ số nguyên nào từ $20 đến $500, với bonus 5% từ $50, 10% từ $100 và 15% từ $200. Bạn có thể thanh toán bằng tiền mã hóa (USDT trên TRC20, USDC trên Base). Các prompt không được dùng để huấn luyện. trang giá cả liệt kê chi tiết và hướng dẫn nhanh lặp lại các bước thiết lập dưới dạng ngắn gọn.

Hỏi đáp

Tôi có thể dùng thư viện chính thức của OpenAI với API này không?

Có. Cài đặt SDK OpenAI cho Python hoặc Node, đặt base URL thành https://api.llminferenceapi.com/v1, truyền khóa của bạn và sử dụng model ID là uncensored.

API có hỗ trợ gọi hàm không?

Có. Truyền tools và tùy chọn tool_choice, sau đó trả về mỗi kết quả dưới dạng tin nhắn với role tool. tool_calls dạng streaming cũng được hỗ trợ.

Lỗi 429 có nghĩa là gì ở đây?

Bạn đã chạm giới hạn. Mã rate_limited có nghĩa là quá nhiều yêu cầu mỗi phút, concurrency có nghĩa là quá nhiều yêu cầu đồng thời cùng một lúc, và một header Retry-After: 5 đánh dấu quá tải tạm thời. Hãy đợi và thử lại.

Tôi có thể dùng nó cho embeddings hay ảnh không?

Không. API chỉ hỗ trợ văn bản và cung cấp hoàn thành trò chuyện và danh sách mô hình.

Khóa của bạn chỉ cần điền một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API