API di inferenza: Guida rapida

URL di base e autenticazione

La nostra API è completamente compatibile con OpenAI. Per passare, aggiorna la configurazione del client per puntare al nostro URL di base e fornisci la tua chiave API. L'URL di base è https://api.llminferenceapi.com/v1. L'autenticazione viene gestita tramite l'intestazione standard Authorization: Bearer. Ricevi la chiave immediatamente dopo esserti registrato con solo email e password: non sono richiesti numero di telefono o carta di credito per la prova.

• URL di base: https://api.llminferenceapi.com/v1
• Intestazione: Authorization: Bearer YOUR_API_KEY
• ID modello: uncensored

Questa configurazione funziona con qualsiasi SDK ufficiale di OpenAI o libreria client compatibile. Mantieni la struttura del tuo codice esistente; cambiano solo l'endpoint e la chiave.

Prima richiesta

Esegui la tua prima chiamata all'endpoint delle chat completions. L'ID del modello è uncensored. Questo modello è un modello linguistico di grandi dimensioni a pesi aperti ottimizzato per rispondere senza rifiuti di contenuti per l'uso adulto legale, non è GPT o Claude.

Copycurl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Il corpo della richiesta include l'array standard messages. Puoi specificare temperatura, numero massimo di token e altri parametri standard. L'API restituisce una risposta standard di completamento chat con statistiche sull'utilizzo dei token. Se riscontri un errore 401, la tua chiave non è valida. Un errore 402 significa che i tuoi crediti prepagati sono esauriti.

Integrazione SDK Python

Utilizzare l'SDK Python è semplice. Inizializza il client con il nostro URL di base e la tua chiave API. La struttura del codice riflette lo standard pattern OpenAI. Questo ti permette di sostituire il nostro servizio proxy llm senza riscrivere la logica della tua applicazione.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Assicurati di passare l'argomento model='uncensored'. L'oggetto di risposta contiene il testo generato e le metriche di utilizzo. Questo approccio è ideale per gli sviluppatori che desiderano una soluzione API compatibile con OpenAI pronta all'uso. Non sono richieste dipendenze aggiuntive oltre all'SDK standard.

Utilizzo SDK Node.js

Per gli sviluppatori Node.js, l'integrazione è altrettanto semplice. Imposta baseURL e apiKey nella configurazione del tuo client. L'SDK gestisce automaticamente le richieste HTTP ai nostri endpoint ai chat api.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llminferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Chiama chat.completions.create() con l'ID del modello uncensored. Puoi eseguire lo streaming delle risposte o gestirle come oggetti completi. Questa flessibilità supporta sia l'elaborazione in batch che le interazioni utente in tempo reale. L'API supporta la chiamata di funzioni, permettendoti di definire funzioni che il modello può invocare.

Risposte in streaming

Per esperienze utente in tempo reale, abilita lo streaming. Imposta il parametro stream su true nella tua richiesta. L'API restituisce uno stream di Server-Sent Events (SSE) di risposte parziali.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Ogni frammento contiene un delta parziale della risposta. Puoi visualizzare questi token all'utente man mano che arrivano, riducendo la latenza percepita. Questo è fondamentale per le interfacce chat dove ci si aspetta un feedback immediato. La risposta in streaming include le stesse informazioni sull'utilizzo dei token delle richieste non in streaming.

Limiti, errori e contesto

La nostra API impone una finestra di contesto di 100.000 token per input e output combinati. Questo supporta documenti lunghi e conversazioni complesse. Il limite di richieste è impostato a 300 richieste al minuto per chiave. Se lo superi, ricevi un errore 429. I corpi delle richieste sono limitati a 8 MB.

Gli errori comuni includono 401 (chiave non valida), 402 (crediti insufficienti) e 429 (limite di richieste). I crediti non scadono mai, quindi puoi ricaricarli quando preferisci. I crediti prepagati partono da 10 $, con bonus per depositi più consistenti. Questo modello di api ai pagamento a consumo assicura che tu paghi solo per ciò che usi.