Sprawdź Pozostałe Okno Kontekstowe Przed Wdrożeniem
Wklej swój prompt lub fragment dokumentu, aby zobaczyć użyte i pozostałe tokeny okna kontekstowego w różnych modelach. Szacowanie kosztów pozostaje dostępne w zaawansowanym panelu.
Podstawowy przepływ pracy tekst-token
Najpierw wklej tekst, aby natychmiast sprawdzić ryzyko wykorzystania kontekstu. Szacunki kosztów są dostępne w drugim, rozwijanym panelu.
Presety scenariuszy
Zacznij jednym kliknięciem, a następnie dostosuj w zaawansowanych ustawieniach.
Pozostała pojemność okna kontekstowego
Skup się najpierw na użytych i pozostałych tokenach, aby uniknąć ryzyka przepełnienia.
Modele do porównania
Wybierz modele, które chcesz porównać pod kątem bezpieczeństwa kontekstu i kosztów
Szczegóły szacowania kosztów
Rozwiń, aby uzyskać szczegółowy podział cen, eksporty i linki do dostawców.
Szczegółowy podział kosztów
Przejrzyj liczbę tokenów i ceny według modelu, a następnie wyeksportuj scenariusz do planowania, zakupu lub wyceny klienta.
Ten lokalny licznik tokenów w przeglądarce przechowuje tekst promptu na Twoim urządzeniu. Obliczamy tokeny i ceny tylko w bieżącej sesji.
Korzystanie z wbudowanego mechanizmu awaryjnego cen, ponieważ aktualny katalog jest niedostępny.
Zaktualizowano dzisiaj
Używane są zapasowe dane cenowe. Liczby mogą być opóźnione w stosunku do aktualnych cen dostawców.
OpenAI używa lokalnego zliczania zgodnego z tiktoken, gdzie jest to dostępne. Anthropic, Gemini i niestandardowe modele mogą używać przybliżeń po stronie przeglądarki, dlatego zawsze potwierdzaj ostateczne rozliczenia w panelach dostawców dla budżetów produkcyjnych.
Advanced cost settings
Dostosuj długość wyjściową, buforowanie, ruch i niestandardowe dane wejściowe cenowe, nie zagracając głównego przepływu pracy okna kontekstowego.
Niestandardowe ceny modeli
Jak oszacować ceny tokenów u dostawców LLM
Postępuj zgodnie z poniższymi krokami, aby używać kalkulatora jako kalkulatora tokenów między modelami, kalkulatora tokenów promptów i odpowiedzi oraz lokalnego licznika tokenów w przeglądarce.
- Wklej tekst źródłowy lub wprowadź ręczne liczby tokenów
Użyj trybu tekstowego, gdy chcesz lokalnie zliczać tokeny w przeglądarce na podstawie promptu, schematu, transkrypcji lub fragmentu RAG. Użyj trybu ręcznego, gdy znasz już liczbę tokenów z innego potoku.
- Wybierz dostawców i założenia scenariusza
Wybierz OpenAI, Claude, Gemini lub niestandardowy model, a następnie wprowadź oczekiwane tokeny wyjściowe, buforowane tokeny wejściowe, dodatkowe tokeny pobrane, wolumen żądań i miesięczne użycie.
- Modeluj efekty wsadowe, buforowania i marży
Włącz zniżkę na wsady dla zadań wsadowych asynchronicznych, dodaj tokeny buforowanych promptów dla powtarzających się instrukcji systemowych i uwzględnij margines bezpieczeństwa lub marżę klienta, jeśli potrzebujesz zabezpieczeń budżetowych.
- Porównaj i wyeksportuj wynik
Przejrzyj koszt za żądanie, całkowity koszt scenariusza, miesięczny koszt, bezpieczny budżet i cenę skorygowaną o marżę. Eksportuj JSON lub CSV do przeglądów zakupów, ofert dla klientów lub dokumentacji wyboru modelu.
Studia przypadków: gdzie szacowanie kosztów tokenów ma znaczenie
Te przykłady odpowiadają wyszukiwaniom o wysokiej intencji dotyczącym porównania cen, buforowania, przetwarzania wsadowego i użycia wielojęzycznych LLM.
Studium przypadku 1: Kalkulator kosztów przepływu pracy agenta
Profile
Startup uruchamiający wieloetapowe agenty z pętlami planowania, pobierania i przeglądu.
Challenge
Zespół musiał oszacować, jak powtarzające się wywołania narzędzi i długie prompty systemowe wpłyną na ekonomię jednostkową przed uruchomieniem.
Solution
Użyli kalkulatora do modelowania tokenów promptów, tokenów odpowiedzi, dodatkowego kontekstu pobierania i zniżek na wsady między kandydackimi modelami.
Implementation
Każdy krok agenta był wklejany do trybu tekstowego, a następnie zespół dostosowywał miesięczne żądania i margines bezpieczeństwa, aż scenariusz odpowiadał ich prognozie produkcyjnej.
Results
Zidentyfikowali najtańszą kombinację modeli dla przepływu pracy i obniżyli prognozowany miesięczny koszt o ponad jedną trzecią przed wdrożeniem.
Studium przypadku 2: Kalkulator cen API OpenAI vs Claude
Profile
Platforma wsparcia porównująca GPT-4o-mini z Claude 3.5 Sonnet do obsługi czatu.
Challenge
Potrzebowali szybkiego sposobu na porównanie cen tokenów promptów i odpowiedzi na tej samej historii rozmów bez pisania niestandardowych skryptów.
Solution
Kalkulator przetworzył reprezentatywną transkrypcję czatu lokalnie i zwrócił porównawcze miesięczne szacunki dla obu dostawców.
Implementation
Zespół wkleił kilka rozmów 10-turowych, ustawił prognozowany wolumen żądań i porównał cenę z marżą dla planów korporacyjnych.
Results
Wybrali tańszą opcję dla standardowych przypadków wsparcia i zarezerwowali droższy model tylko dla ścieżek eskalacji.
Studium przypadku 3: Kalkulator kosztów API wsadowych
Profile
Zespół operacyjny przetwarzający dziesiątki tysięcy opisów produktów w nocy.
Challenge
Ich marża zależała od tego, czy ceny wsadowe asynchroniczne znacząco zmienią koszt dużych zadań odświeżania treści.
Solution
Modelowali zadanie z włączoną zniżką na wsady i uwzględnili bufor dla opisów z długim ogonem, które były większe niż przeciętne.
Implementation
Zespół wprowadził reprezentatywną próbkę, prognozował całkowitą liczbę żądań i wyeksportował CSV do zatwierdzenia budżetu.
Results
Przenieśli obciążenie do kolejki wsadowej z jasnym szacunkiem oszczędności i uzyskali przewidywalny budżet na przetwarzanie nocne.
Studium przypadku 4: Koszt buforowania kontekstu Anthropic
Profile
Przepływ pracy w branży prawniczej z dużymi, wielokrotnego użytku promptami systemowymi i dokumentami polityki.
Challenge
Zespół musiał zrozumieć, ile buforowanych prefiksów zmniejszy koszt powtarzających się zapytań dotyczących tych samych podstawowych instrukcji.
Solution
Użyli buforowanych tokenów wejściowych do modelowania powtarzającego się kontekstu i porównali efektywne miesięczne oszczędności w porównaniu z działaniem bez buforowania.
Implementation
Współdzielone instrukcje prawne zostały wprowadzone jako buforowane tokeny, podczas gdy dynamiczne prompty i odpowiedzi specyficzne dla sprawy zostały oszacowane osobno.
Results
Uzasadnili buforowanie promptów wewnętrznie i zmniejszyli pozorne koszty przepływów pracy o wysokiej zgodności.
Studium przypadku 5: Koszt tokenów wielojęzycznych LLM
Profile
Globalny zespół ds. treści lokalizujący prompty i strukturyzowane odpowiedzi w językach angielskim, japońskim i chińskim.
Challenge
Liczba słów wyglądała podobnie, ale użycie tokenów znacznie różniło się w zależności od języka i formatu wyjściowego.
Solution
Wkleili zlokalizowane prompty do narzędzia, aby zmierzyć inflację tokenów i porównać ceny dostawców przed uruchomieniem na nowych rynkach.
Implementation
Zespół duplikował scenariusze według języków, dostosowywał oczekiwany rozmiar wyjściowy i dokumentował różnicę cenową według rynku.
Results
Zapobiegli niedoszacowaniu cen w językach o dużej liczbie tokenów i ustalili zasady użytkowania specyficzne dla rynku z większą pewnością.
Często zadawane pytania dotyczące kalkulatora kosztów tokenów
Co to jest kalkulator tokenów między modelami?
Jest to narzędzie, które pozwala oszacować użycie tokenów i koszt API u wielu dostawców LLM z tego samego wejścia, aby można było porównać ceny przed rozpoczęciem budowy.
Jak dokładny jest ten kalkulator kosztów tokenów LLM?
Modele zgodne z OpenAI używają lokalnego wsparcia tokenizera, gdzie jest to dostępne. Inni dostawcy mogą polegać na przybliżeniach po stronie przeglądarki, więc szacowanie jest dobre do planowania, ale panele rozliczeniowe dostawców pozostają ostatecznym źródłem prawdy.
Dlaczego oddzielać tokeny promptów i odpowiedzi?
Większość dostawców nalicza różne ceny za tokeny wejściowe i wyjściowe, a wyjście jest często znacznie droższe. Podzielenie ich sprawia, że szacowanie jest użyteczne do rzeczywistego budżetowania.
Czy mogę tutaj oszacować koszt buforowania kontekstu Anthropic?
Tak. Dodaj część promptu, która jest ponownie używana jako buforowane tokeny wejściowe, a następnie porównaj scenariusz z przebiegami bez buforowania, aby zobaczyć, jak powtarzające się prefiksy zmieniają budżet.
Czy działa to jako kalkulator kosztów API wsadowych?
Tak. Włącz przełącznik zniżki na wsady, aby oszacować niższy całkowity koszt, którego można oczekiwać od przepływów pracy przetwarzania wsadowego asynchronicznego.
Czy moje dane są przechowywane, gdy używam tego lokalnego licznika tokenów w przeglądarce?
Nie. Kalkulator jest zaprojektowany do lokalnego działania w sesji przeglądarki, więc wklejane prompty i dokumenty pozostają na Twoim urządzeniu podczas szacowania.
Czy mogę używać tego jako szacowania tokenów fragmentów RAG?
Tak. Wklej reprezentatywny fragment dokumentu, a następnie dodaj dodatkowe tokeny wejściowe dla narzutu pobierania i pomnóż żądania, aby modelować koszt wzorców pobierania top-K.
Jak oszacować ceny tokenów strukturalnych wyjść OpenAI?
Wklej prompt i wszelkie schematy lub instrukcje dotyczące strukturalnych wyjść w trybie tekstowym, a następnie ustaw oczekiwane tokeny odpowiedzi, aby zobaczyć, jak narzut formatowania wpływa na całkowity koszt.
Dlaczego koszt tokenów wielojęzycznych LLM różni się w zależności od języka?
Różne tokenizery dzielą tekst nieanglojęzyczny inaczej, więc podobna liczba słów może generować bardzo różne całkowite liczby tokenów. Testowanie każdego docelowego języka jest najbezpieczniejszym sposobem na ustalenie cen globalnego użycia.
Czy mogę porównać niestandardowy lub hostowany samodzielnie model?
Tak. Użyj sekcji niestandardowych cen, aby wprowadzić własną nazwę modelu i stawki za milion tokenów dla wejścia, wyjścia i buforowanego wejścia.