LLM Inference APIPrzewodnik
Czym jest wnioskowanie LLM? Tokeny, opóźnienia i koszt
Jeśli pytasz, czym jest wnioskowanie LLM, w skrócie wygląda to tak: jest to krok, w którym wytrenowany model językowy czyta Twój prompt i pisze odpowiedź, jeden token po drugim. Ta strona wyjaśnia, jak to działa i ile to kosztuje.
Aktualizacja:

Kluczowe punkty
- Wnioskowanie to uruchomienie gotowego modelu w celu uzyskania wyniku; trening to wcześniejszy, znacznie droższy etap, który stworzył model.
- Zapytanie ma dwie fazy: czytanie prompta (prefill) i pisanie odpowiedzi token po tokenie (dekodowanie).
- Koszt i prędkość zależą od liczby tokenów, więc długość prompta, długość odpowiedzi i okno kontekstu mają większe znaczenie niż cokolwiek innego.
- Korzystając z API hostowanego, płacisz za tokeny i nie płacisz za GPU; przy własnym sprzęcie płacisz za maszynę, niezależnie od tego, czy jest obciążona, czy nie.
Wnioskowanie w jednym akapicie
Duży model językowy to plik pełen liczb zwanych wagami. Trening to proces ustawiania tych liczb poprzez pokazanie modelowi ogromnych ilości tekstu. Wnioskowanie to wszystko, co dzieje się później, gdy używasz gotowych wag, aby uzyskać odpowiedź. Każda wiadomość czatu wysłana do modelu, każda sugestia autouzupełniania i każde wywołanie API zwracające tekst to zapytanie wnioskujące.
Różnica ma znaczenie, ponieważ te dwa zadania mają inną ekonomię. Trening odbywa się raz (lub kilka razy) i wymaga dużego klastra. Wnioskowanie dzieje się za każdym razem, gdy ktoś wysyła prompt, więc to ta część skaluje się wraz z Twoimi użytkownikami. Kiedy ludzie mówią o koszcie uruchamiania produktu AI, prawie zawsze mają na myśli koszt wnioskowania.
Model nie „wyszukuje” odpowiedzi. Oblicza prawdopodobieństwo dla każdego możliwego następnego tokena, wybiera jeden, dołącza go do tekstu i powtarza. Ta pętla to cały mechanizm, a reszta tej strony to bliższy jej przegląd.
Co dzieje się podczas jednego zapytania
Weź pojedyncze zapytanie czatu i prześledź je od Twojego kodu do ostatniego znaku.
- Tokenizacja. Twój tekst jest dzielony na tokeny, czyli fragmenty znaków. Token to często krótkie słowo lub część dłuższego słowa. Przybliżona zasada dla języka angielskiego to około cztery znaki na token, ale zależy to od języka oraz treści, np. kodu.
- Prefill. Model przetwarza wszystkie tokeny promptu w jednym przejściu. Jest to praca równoległa, która buduje wewnętrzny stan potrzebny modelowi do kontynuowania tekstu.
- Dekodowanie. Model generuje pierwszy token wyjściowy, potem drugi i tak dalej. Każdy nowy token zależy od wszystkich poprzednich, więc ta faza jest sekwencyjna. To wolniejsza część większości zapytań.
- Próbkowanie. W każdym kroku model ma ocenę dla każdego tokena w swoim słowniku. Ustawienia takie jak
temperatureitop_pdecydują, jak wybierany jest następny token na podstawie tych ocen. Niska temperatura wybiera najprawdopodobniejszy token niemal zawsze; wyższa pozwala na większą różnorodność. - Zatrzymanie. Generowanie kończy się, gdy model emituje token końca tekstu, gdy trafi na zdefiniowaną przez Ciebie sekwencję
stoplub gdy osiągnie limit tokenów.
Prefill i dekodowanie obciążają sprzęt w różny sposób. Prefill jest ograniczony głównie przez surową moc obliczeniową. Dekodowanie jest ograniczone głównie przez to, jak szybko GPU może odczytać wagi modelu z pamięci, ponieważ każdy pojedynczy token musi je przetworzyć. Dlatego długa odpowiedź trwa widocznie dłużej niż długie pytanie o tym samym rozmiarze.
Tokeny, okno kontekstu i bufor KV
Wszystko w wnioskowaniu mierzy się w tokenach. Twój prompt, wiadomość systemowa, wcześniejsze tury rozmowy i odpowiedź liczą się jako tokeny. Okno kontekstu to maksymalna liczba tokenów, jaką model może utrzymać jednocześnie — razem z promptem i uzupełnieniem. Na tej usłudze okno kontekstu wynosi 100 000 tokenów, a uzupełnienie może wykorzystać wszystko, co pozostawił prompt.
Aby uniknąć ponownego obliczania całej rozmowy dla każdego nowego tokena, silniki wnioskowania przechowują bufor KV: pośrednie klucze i wartości dla już przetworzonych tokenów. Bufor rośnie wraz z długością kontekstu i zużywa pamięć GPU. To główny powód, dla którego długie konteksty są kosztowne w obsłudze, oraz powód, dla którego serwer może obsłużyć jednocześnie ograniczoną liczbę długich zapytań.
Praktyczną konsekwencją dla Ciebie jako dewelopera jest to, że czat, który wysyła pełną historię w każdym turze, płaci za tę historię ponownie za każdym razem. Jeśli rozmowa urośnie do 20 000 tokenów, każda nowa wiadomość niesie ze sobą te 20 000 tokenów wejściowych. Ograniczanie lub streszczanie starych tur to najtańsza optymalizacja prędkości i kosztu dostępna dla Ciebie, nie wymagająca zmian po stronie serwera.
Opóźnienia: dlaczego są dwie liczby
Ludzie często pytają, jak szybki jest model, ale istnieją dwa osobne pomiary.
- Czas do pierwszego tokena. Czas oczekiwania, zanim pojawi się jakikolwiek tekst. Obejmuje czas sieciowy, kolejkowanie na serwerze i prefill. Długie prompty wydłużają ten czas.
- Prędkość generowania. Jak szybko docierają tokeny po pierwszym. Zależy to od wielkości modelu, sprzętu oraz liczby innych zapytań obsługiwanych przez tę samą kartę GPU w tym momencie.
Strumieniowanie istnieje z powodu tego podziału. Przy stream: true serwer wysyła tokeny w miarę ich generowania, więc użytkownik zaczyna czytać po pierwszym tokenie, zamiast czekać na pełną odpowiedź. Całkowity czas jest taki sam, ale interfejs wydaje się znacznie szybszy. Dla czatu, roleplay i narzędzi do pisania strumieniowanie jest niemal zawsze właściwą wartością domyślną.
Jedna rzecz do zapamiętania przy planowaniu współbieżności: zapytanie strumieniowe trzyma swój slot do końca strumienia, a nie do momentu przybycia pierwszego tokena. Jeśli Twój klucz pozwala na 8 zapytań współbieżnych, osiem długich strumieni w locie oznacza, że dziewiąte musi czekać lub otrzyma odpowiedź 429.
Ile kosztuje wnioskowanie, z realnymi liczbami
Wnioskowanie hostowane jest rozliczane za tokeny, z oddzielnymi cenami za wejście i wyjście, ponieważ tokeny wyjściowe wymagają więcej pracy. Ta usługa pobiera $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych z przedpłaconego kredytu bez subskrypcji. Oto jak to wygląda dla kilku typowych zapytań.
| Zapytanie | Tokeny wejściowe | Tokeny wyjściowe | Koszt |
|---|---|---|---|
| Krótka wiadomość czatu | 500 | 300 | $0.000075 + $0.00015 = $0.000225 |
| Czat z historią | 2,000 | 500 | $0.0003 + $0.00025 = $0.00055 |
| Podsumowanie długiego dokumentu | 30,000 | 1,000 | $0.0045 + $0.0005 = $0.005 |
| Pełny prompt 100 000 tokenów, krótka odpowiedź | 100,000 | 500 | $0.015 + $0.00025 = $0.01525 |
Matematyka jest prosta: podziel liczbę tokenów przez milion i pomnóż przez cenę. Dla wiersza czatu z historią 2 000 / 1 000 000 x $0,15 = $0,0003 i 500 / 1 000 000 x $0,50 = $0,00025, co daje łącznie $0,00055. Tysiąc takich zapytań kosztuje $0,55.
Dwa szczegóły rozliczeniowe pomagają w planowaniu budżetu. Nieudane lub odrzucone zapytania nie są rozliczane, a kredyt nie wygasa, więc doładowanie nie jest zegarem, który odlicza czas. Każda odpowiedź zawiera nagłówek X-Balance-USD, który pozwala Twojemu kodowi śledzić pozostałe saldo bez osobnego wywołania.
Wnioskowanie hostowane lub Twoje własne GPU
Masz dwa sposoby na uzyskanie wnioskowania. Możesz wynająć lub kupić GPU, zainstalować silnik serwowania i uruchomić model samodzielnie. Albo możesz wywołać API i pozwolić komuś innemu zarządzać sprzętem.
Własna obsługa daje Ci pełną kontrolę nad plikami modelu, ustawieniami i ścieżką danych. Cena to praca operacyjna: wybór sprzętu pasującego do wag i bufora KV, aktualizacja sterowników i silników, obsługa szczytów ruchu i płacenie za maszynę w godzinach ciszy. Hostowane API zamienia to w rachunek za tokeny. Zazwyczaj jest to szybsza ścieżka, gdy Twój ruch jest nierówny lub dopiero testujesz pomysł.
Opisana tutaj usługa to hostowany, kompatybilny z OpenAI, tekstowy API. Uruchamia jeden model o otwartych wagach, obsługiwany przez niezależnego dostawcę i dostrojony do odpowiadania bez odmów treści dla użytku dorosłego. Nie jest to oficjalne API żadnego dostawcy modeli i nie generuje obrazów, dźwięku ani wideo, nie tworzy embeddingów ani nie dostraja modeli. Jeśli potrzebujesz którejś z tych funkcji, potrzebujesz innego narzędzia. Jeśli potrzebujesz zwykłego generowania tekstu z małymi odmowami, szybki start pokazuje konfigurację, a strona z cenami wymienia opcje doładowania.
Wypróbuj wywołanie wnioskowania samodzielnie
Najszybszym sposobem na ujęcie koncepcji w praktyce jest wysłanie jednego zapytania i odczytanie liczb, które zwraca. Po wygenerowaniu klucza to polecenie curl wysyła ukończenie czatu do endpointu:
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
"max_tokens": 120
}'
Odpowiedź JSON zawiera obiekt usage z prompt_tokens, completion_tokens i total_tokens. Pomnóż te wartości przez ceny powyżej, a uzyskasz dokładny koszt wywołania. To samo w Pythonie z użyciem SDK OpenAI:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
max_tokens=120,
)
u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))
Nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem na stronie klucza po zalogowaniu się. Nie wymaga karty, trwa 7 dni, a przy powyższych cenach pokrywa około dwóch tysięcy krótkich wiadomości czatu. Jeśli coś zwróci błąd, którego nie rozpoznajesz, artykuł rozwiązywania problemów wymienia typowe przyczyny.
Więcej przewodników
Pytania i odpowiedzi
Czy wnioskowanie to to samo co uruchamianie modelu?
Tak. Uruchomienie wytrenowanego modelu na nowych danych w celu uzyskania wyniku to wnioskowanie. Trening, który dostosowuje wagi, to inny i wcześniejszy etap.
Dlaczego generowanie tekstu jest droższe niż jego przetwarzanie?
Tokeny wejściowe są przetwarzane razem w jednym równoległym kroku, podczas gdy tokeny wyjściowe są generowane jeden po drugim. Dostawcy cenią wolniejszą, sekwencyjną część wyżej, a ta usługa pobiera $0,50 zamiast $0,15 za 1M tokenów.
Czy dłuższe okno kontekstu spowalnia zapytania?
Zazwyczaj tak. Dłuższy prompt oznacza więcej pracy przy prefillu i większą pamięć KV, więc czas do pierwszego tokena rośnie. Płacisz tylko za tokeny, które faktycznie wysyłasz i odbierasz, a nie za nieużywaną część 100 000-tokenowego okna.
Czy potrzebuję GPU, aby korzystać z API wnioskowania?
Nie. Dostawca zarządza sprzętem. Wysyłasz żądania HTTPS z dowolnego urządzenia, w tym laptopa lub małego serwera.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.
Pobierz klucz API