LLM Inference APIPrzewodnik
Najtańszy LLM Inference API: Jak ocenić rzeczywisty koszt
Cena za token to tylko początek opowieści. Oto jak porównać API wnioskowania po liczbach, które decydują o Twoim rachunku, z naszymi stawkami jako przykładem.
Aktualizacja:


Kluczowe punkty
- Wskaż dowolne SDK OpenAI na https://api.llminferenceapi.com/v1, użyj ID modelu uncensored i przekaż swój klucz jako token Bearer.
- Dostępne są dwa endpointy: POST /v1/chat/completions i GET /v1/models.
- Strumieniowanie, wywoływanie funkcji i tryb JSON działają przez standardowe pola zapytania.
- Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę; odpowiedź 429 informuje, jaki limit przekroczyłeś.
Cena za milion tokenów to tylko początek
Najtańszy endpoint API do wnioskowania LLM to ten z najniższym kosztem dla Twojego obciążenia, co nie zawsze oznacza najniższą liczbę na stronie z cenami. Dwa dostawcy mogą podać tę samą cenę startową, a rachunki będą różne po uwzględnieniu tokenów wyjściowych, długich promptów, nieudanych zapytań i minimalnych doładowań.
Wykonaj czteroczęściowe sprawdzenie przed wyborem: cena wejścia, cena wyjścia, sposób obsługi długiego kontekstu przez model oraz kwota wpłacana z góry. Artykuł omawia każdy z tych aspektów, pokazuje nasze ceny jako przykład i pozostawia Ci liczby innych dostawców. Sprawdź ich aktualne cenniki i podstaw dane do tych samych wzorów.
Tokeny wejściowe versus wyjściowe
Prawie każde API LLM rozlicza wejście i wyjście osobno, a wyjście zwykle kosztuje więcej. Nasze stawki to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych. Wyjście jest więc ponad trzy razy droższe od wejścia, więc proporcja Twojego ruchu zmienia wynik.
Jak zmienia się cena mieszana w zależności od stosunku tokenów wejściowych do wyjściowych:
| Stosunek wejścia do wyjścia | Koszt za 1M tokenów łącznie | Średnio na 1M |
|---|---|---|
| 1 : 1 | 0,5M x $0,15 + 0,5M x $0,50 = $0,325 | $0,325 |
| 3 : 1 | 0,75M x $0,15 + 0,25M x $0,50 = $0,2375 | $0,2375 |
| 10 : 1 | około 0,909M x $0,15 + 0,091M x $0,50 = $0,1818 | około $0,18 |
| 1 : 3 | 0,25M x $0,15 + 0,75M x $0,50 = $0,4125 | $0,4125 |
Sumaryzator dużo czyta i mało pisze, więc znajduje się w pobliżu wiersza 10 : 1. Generator opowiadań dużo pisze na krótkim promptcie i znajduje się w pobliżu wiersza 1 : 3. Porównując dostawców, oblicz oba wiersze dla swojego stosunku. Dostawca tańszy na wejściu może stracić na obciążeniu generacyjnym.
Długość kontekstu zmienia rachunek
Aplikacje czatu wysyłają całą rozmowę w każdej rundzie. Jeśli czat urośnie do 20 rund, runda 20 zawiera wszystkie 19 wcześniejszych wymian jako wejście. Koszt rozmowy rośnie więc szybciej niż jej długość.
Przykład obliczeniowy. Każda tura dodaje 300 tokenów tekstu użytkownika i 300 tokenów odpowiedzi, a prompt systemowy ma 500 tokenów. Wejście w turze n to 500 + (n - 1) x 600 + 300 tokenów. Sumując po 20 turach, otrzymujemy 20 x 800 + 600 x 190 = 130 000 tokenów wejściowych oraz 20 x 300 = 6 000 tokenów wyjściowych. Koszt wejścia to 130 000 x $0,15 / 1M = $0,0195, a koszt wyjścia to 6 000 x $0,50 / 1M = $0,003, więc cała rozmowa 20-tu tur kosztuje $0,0225.
Dokładna kwota ma mniejsze znaczenie niż kształt: wejście dominuje w długich rozmowach. Dostawca z tanim cenownikiem wejścia pomoże Ci bardziej w tym przypadku niż dostawca z tanim cenownikiem wyjścia. Ograniczenie starych tur lub ich podsumowanie obniża największy koszt. Nasze okno kontekstu ma 100 000 tokenów, łącznie z promptem i uzupełnieniem, więc bardzo długie dokumenty mieszczą się, ale kosztują tokeny wejściowe za każdym razem, gdy je wyślesz.
Ukryte koszty do sprawdzenia
- Minimalne doładowanie. Nasze to $20, dowolną kwotą całkowitą do $500. Dostawca z niską ceną za token, ale dużym minimum, może kosztować więcej dla małego projektu.
- Wygaśnięcie. Kredyt, który wygasa, to kredyt, który możesz zmarnować. Nasz nigdy nie wygasa.
- Subskrypcje. Miesięczna opłata zamienia usługę płatną za token w stały koszt. Nasza usługa działa w modelu pay-as-you-go.
- Opłaty za niepowodzenia. Nieudane lub odrzucone zapytania nie są tutaj rozliczane. Sprawdź to u każdego dostawcy, który porównujesz.
- Limit zapytań. Tania cena z niskim limitem zapytań zmusza Cię do zakupu drugiego konta lub spowolnienia potoku. Pełny klucz tutaj pozwala na 8 równoległych zapytań i 300 na minutę.
- Opłaty i bonusy płatnicze. Dodajemy +5% kredytu od $50, +10% od $100 i +15% od $200, więc doładowanie na $200 daje $230.
Nasze stawki z przykładami obliczeń
Poniższe liczby używają $0,15 za 1M wejścia i $0,50 za 1M wyjścia.
| Obciążenie | Tokeny | Koszt |
|---|---|---|
| Jedna runda czatu: 2000 wejście, 500 wyjście | 2 500 | $0,0003 + $0,00025 = $0,00055 |
| 1000 takich rund | 2,5M | $0,55 |
| Podsumuj 10 000 artykułów: 3000 wejście, 200 wyjście każdy | 32M | $4,50 + $1,00 = $5,50 |
| Wygeneruj 5000 opowiadań: 300 wejście, 1500 wyjście każde | 9M | $0,225 + $3,75 = $3,975 |
Sprawdź wiersz sumaryzacji: 10 000 x 3 000 = 30M tokenów wejściowych, a 30 x $0,15 = $4,50. 10 000 x 200 = 2M tokenów wyjściowych, a 2 x $0,50 = $1,00. Łącznie $5,50. Dla wiersza z historią: 5 000 x 300 = 1,5M tokenów wejściowych, co daje $0,225, oraz 5 000 x 1 500 = 7,5M tokenów wyjściowych, co daje $3,75. Łącznie $3,975.
Na stronie z cenami znajdziesz stawki i bonusy, a zapłacić możesz kryptowalutami (USDT na TRC20, USDC na Base).
Zmierz swój rzeczywisty koszt skryptem
Nie polegaj na szacunkach przez długi czas. Wykonaj 50 reprezentatywnych promptów i pozwól API raportować liczbę tokenów. Poniższy kod wyświetla szacunkowy koszt z pola usage.
from openai import OpenAI
client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50 # dollars per 1M tokens
def cost(u):
return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000
total = 0.0
for p in open("prompts.txt"):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p.strip()}],
)
total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))Pomnóż średnią przez oczekiwane miesięczne zapytania. Zrób to samo z każdym dostawcą, którego rozważasz, i zachowaj jakość w pętli, czytając próbkę odpowiedzi. Tańszy model, który wymaga dwóch prób na zadanie, nie jest tańszy.
Porównanie w pięciu krokach, które zrobisz w godzinę
- Zapisz oczekiwane tokeny wejściowe i wyjściowe na zapytanie, z próbki rzeczywistych promptów.
- Pomnóż przez cenę wejścia i wyjścia każdego dostawcy, na zapytanie i miesięcznie.
- Dodaj koszty stałe: minimalne doładowanie, subskrypcję i każdy kredyt, który wygaśnie przed użyciem.
- Uruchom te same 20 promptów na każdym modelu i oceń odpowiedzi, więc porównasz koszt dobrej odpowiedzi, a nie koszt za token.
- Sprawdź limity względem szczytowego ruchu. Jeśli potrzebujesz więcej niż 8 zapytań naraz, zapytaj, czy możesz uruchomić kolejkę zamiast tego.
Wynikiem jest tabela z jednym wierszem na dostawcę i miesięcznym kosztem dla Twojego obciążenia. Tabela to prawdziwa odpowiedź na pytanie z tytułu i pozostaje aktualna, aż dostawca zmieni ceny, więc sprawdzaj ją co kilka miesięcy. Porównanie frameworków pomaga, jeśli uruchamiasz modele na własnym sprzęcie, a strona częstych błędów w API czatu wymienia błędy cicho podnoszące rachunki, np. ponowne wysłanie tej samej historii dwukrotnie.
Czego nie potrafi tania opcja
Bez względu na wybranego dostawcę, możesz obniżyć koszty na cztery sposoby. Ogranicz max_tokens tam, gdzie wystarczy krótka odpowiedź, ponieważ wyjście jest droższą stroną. Ogranicz prompt systemowy i usuń tury, których model już nie potrzebuje. Przekieruj proste zadania, takie jak klasyfikacja, do krótkich promptów z rygorystycznymi formatami wyjściowymi. I loguj liczbę tokenów na funkcję, aby zauważyć, gdy jeden szablon promptu niepostrzeżenie podwoi swój rozmiar po edycji. Te nawyki oszczędzają więcej niż zmiana dostawcy dla kilku centów.
Usługa jest tylko tekstowa. Nie ma embeddingów, generowania obrazu ani audio ani dostrajania, więc jeśli ich potrzebujesz, zapłacisz innemu dostawcy za nie. Uruchamia jeden model o otwartych wagach od niezależnego dostawcy, dostrojony do generowania odpowiedzi bez odrzuceń treści dla prawnego użytku dorosłych, i nie jest oficjalnym API żadnego dostawcy modeli. Treści seksualne z udziałem nieletnich są zawsze zabronione.
To, czy jest najtańszy dla Ciebie, zależy od tego, czy ten pojedynczy model jest wystarczająco dobry do Twojego zadania. Przetestuj go za darmo: nowi użytkownicy mogą zebrać $0,50 darmowego kredytu próbnego jednym kliknięciem na stronie klucza API, bez karty. Następnie przeczytaj dokumentację. Jeśli jesteś nowy w podstawach, czym jest wnioskowanie LLM omawia terminy użyte powyżej.
Więcej przewodników
Pytania i odpowiedzi
Ile kosztuje jedna wiadomość czatu?
Tura z 2 000 tokenami wejściowymi i 500 tokenami wyjściowymi kosztuje $0,00055, więc 1 000 tur kosztuje $0,55.
Czy istnieje miesięczna opłata?
Nie. Płacisz za zużycie z przedpłaconego kredytu, a kredyt nigdy nie wygasa.
Czy nieudane zapytania są rozliczane?
Nie. Nieudane lub odrzucone zapytania nie są rozliczane.
Czy najniższa cena to zawsze najlepsza oferta?
Nie. Udział wyjścia, długość kontekstu, minimalne doładowanie i jakość odpowiedzi zmieniają rzeczywisty koszt.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.
Pobierz klucz API