Göndermeden Önce Kalan Bağlam Penceresini Kontrol Edin
Modeller genelinde kullanılan ve kalan bağlam penceresi tokenlarını görmek için isteminizi veya belge parçanızı yapıştırın. Maliyet tahmini gelişmiş bir panel olarak mevcuttur.
Birincil metinden tokene iş akışı
Bağlam kullanım riskini hemen kontrol etmek için önce metni yapıştırın. Maliyet tahminleri ikincil genişletilebilir bir panelde mevcuttur.
Senaryo ön ayarları
Tek tıklamayla başlayın ve ardından gelişmiş ayarlarda ince ayar yapın.
Bağlam penceresi kalan kapasitesi
Taşma riskini önlemek için önce kullanılan ve kalan tokenlara odaklanın.
Karşılaştırılacak modeller
Bağlam güvenliği ve maliyeti için karşılaştırmak istediğiniz modelleri seçin
Maliyet tahmini ayrıntıları
Fiyatlandırma dökümü, dışa aktarmalar ve sağlayıcı bağlantıları için genişletin.
Maliyet dökümü
Model başına token sayılarını ve fiyatlandırmayı gözden geçirin, ardından planlama, tedarik veya müşteri teklifleri için senaryoyu dışa aktarın.
Bu yerel tarayıcı token sayacı, istem metnini cihazınızda tutar. Yalnızca mevcut oturumda tokenları ve fiyatlandırmayı hesaplarız.
Canlı katalog şu anda kullanılamadığı için yerleşik fiyatlandırma yedeklemesini kullanır.
Bugün güncellendi
Yedek fiyatlandırma verileri kullanılıyor. Sayılar mevcut sağlayıcı fiyatlarının gerisinde kalabilir.
OpenAI, uygun olduğu yerlerde yerel tiktoken uyumlu sayım kullanır. Anthropic, Gemini ve özel modeller tarayıcı tarafı yaklaşımları kullanabilir, bu nedenle üretim bütçeleri için son faturalandırmayı sağlayıcı panolarıyla her zaman doğrulayın.
Advanced cost settings
Ana bağlam penceresi iş akışını kalabalıklaştırmadan çıkış uzunluğunu, önbelleğe almayı, trafiği ve özel fiyatlandırma girişlerini ayarlayın.
Özel model fiyatlandırması
LLM sağlayıcıları arasında token fiyatlandırması nasıl tahmin edilir
Hesaplayıcıyı model arası token hesaplayıcısı, istem ve tamamlama token hesaplayıcısı ve yerel tarayıcı token sayacı olarak kullanmak için bu adımları izleyin.
- Kaynak metni yapıştırın veya manuel token sayıları girin
Bir istem, şema, transkript veya RAG parçasından yerel tarayıcı token sayımı istediğinizde metin modunu kullanın. Başka bir işlem hattından zaten token sayısını bildiğinizde manuel modu kullanın.
- Sağlayıcıları ve senaryo varsayımlarını seçin
OpenAI, Claude, Gemini veya özel bir model seçin, ardından beklenen çıkış tokenlarını, önbelleğe alınmış giriş tokenlarını, ek alma tokenlarını, istek hacmini ve aylık kullanımı girin.
- Model toplu, önbelleğe alma ve marj etkilerini modelleyin
Zaman uyumsuz toplu işler için toplu indirim anahtarını açın, tekrarlanan sistem talimatları için önbelleğe alınmış istem tokenları ekleyin ve bütçe korumalarına ihtiyacınız varsa bir güvenlik marjı veya müşteri işareti ekleyin.
- Sonucu karşılaştırın ve dışa aktarın
İstek başına maliyeti, senaryo toplamını, aylık maliyeti, güvenli bütçeyi ve işaretlenmiş fiyatı gözden geçirin. Tedarik incelemeleri, müşteri teklifleri veya model seçimi belgeleri için JSON veya CSV'yi dışa aktarın.
Vaka çalışmaları: token maliyeti tahmininin önemli olduğu yerler
Bu örnekler, fiyatlandırma karşılaştırması, önbelleğe alma, toplu işleme ve çok dilli LLM kullanımı etrafındaki yüksek niyetli arama davranışlarıyla eşleşir.
Vaka Çalışması 1: Ajan iş akışı maliyet tahmin aracı
Profile
Planlayıcı, alıcı ve gözden geçiren döngülerle çok adımlı ajanlar çalıştıran bir startup.
Challenge
Ekip, lansmandan önce tekrarlanan araç çağrılarının ve uzun sistem istemlerinin birim ekonomiyi nasıl etkileyeceğini tahmin etmesi gerekiyordu.
Solution
Aday modeller arasında istem tokenlarını, tamamlama tokenlarını, ek alma bağlamını ve toplu indirimleri modellemek için hesaplayıcıyı kullandılar.
Implementation
Her ajan adımı metin moduna yapıştırıldı, ardından ekip senaryo üretim tahminlerine uyana kadar aylık istekleri ve güvenlik marjını ayarladı.
Results
İş akışı için en ucuz model karışımını belirlediler ve göndermeden önce tahmini aylık maliyeti üçte birden fazla azalttılar.
Vaka Çalışması 2: OpenAI vs Claude API fiyatlandırma hesaplayıcısı
Profile
Sohbet işleme için GPT-4o-mini'yi Claude 3.5 Sonnet ile karşılaştıran bir destek platformu.
Challenge
Özel komut dosyaları yazmadan aynı konuşma geçmişinde istem ve tamamlama token fiyatlandırmasını hızlı bir şekilde karşılaştırmaları gerekiyordu.
Solution
Hesaplayıcı, temsili bir sohbet transkriptini yerel olarak işledi ve her iki sağlayıcı için yan yana aylık tahminler döndürdü.
Implementation
Ekip birkaç 10 dönüşlü konuşma yapıştırdı, tahmini istek hacmini ayarladı ve kurumsal planlar için işaretlenmiş fiyatı karşılaştırdı.
Results
Standart destek durumları için daha düşük maliyetli seçeneği seçtiler ve premium modeli yalnızca yükseltme yolları için ayırdılar.
Vaka Çalışması 3: Toplu API maliyet hesaplayıcısı
Profile
Gece boyunca on binlerce ürün açıklamasını işleyen bir operasyon ekibi.
Challenge
Marjları, zaman uyumsuz toplu iş fiyatlandırmasının büyük içerik yenileme işlerinin maliyetini önemli ölçüde değiştirip değiştirmediğine bağlıydı.
Solution
İşi toplu indirim etkinleştirilmiş olarak modellediler ve ortalamadan daha büyük olan uzun kuyruklu açıklamalar için bir tampon eklediler.
Implementation
Ekip temsili bir örnek girdi, toplam istek sayısını tahmin etti ve bütçe onayı için CSV'yi dışa aktardı.
Results
Açık bir tasarruf tahminiyle iş yükünü toplu iş kuyruğuna taşıdılar ve öngörülebilir bir gece işleme bütçesi elde ettiler.
Vaka Çalışması 4: Anthropic bağlam önbelleğe alma maliyeti
Profile
Büyük yeniden kullanılabilir sistem istemleri ve politika belgeleriyle bir hukuk-teknoloji iş akışı.
Challenge
Ekip, önbelleğe alınmış öneklerin aynı temel talimatlar üzerindeki tekrarlanan sorguların maliyetini ne kadar azaltacağını anlaması gerekiyordu.
Solution
Tekrarlanan bağlamı modellemek için önbelleğe alınmış giriş tokenlarını kullandılar ve önbelleğe alınmamış işlemeye karşı etkili aylık tasarrufları karşılaştırdılar.
Implementation
Paylaşılan yasal talimatlar önbelleğe alınmış tokenlar olarak girildi, dinamik konuya özel istemler ve çıktılar ayrı ayrı tahmin edildi.
Results
İstem önbelleğe almayı dahili olarak haklı çıkardılar ve yüksek uyumluluk iş akışlarının görünür maliyetini azalttılar.
Vaka Çalışması 5: Çok dilli LLM token maliyeti
Profile
İngilizce, Japonca ve Çince'de istemleri ve yapılandırılmış çıktıları yerelleştiren küresel bir içerik ekibi.
Challenge
Kelime sayıları benzer görünüyordu, ancak token kullanımı dile ve çıktı biçimine göre keskin bir şekilde değişiyordu.
Solution
Yeni pazarlarda lansmandan önce token enflasyonunu ölçmek ve sağlayıcı fiyatlandırmasını karşılaştırmak için yerelleştirilmiş istemleri araca yapıştırdılar.
Implementation
Ekip senaryoları dile göre çoğalttı, beklenen çıktı boyutunu ayarladı ve pazar başına fiyat farkını belgeledi.
Results
Yüksek tokenlı dillerde düşük fiyatlandırmayı önlediler ve daha iyi güvenle pazara özel kullanım politikaları belirlediler.
Token maliyeti tahmin aracı SSS
Model arası token hesaplayıcısı nedir?
Aynı girdiden birden fazla LLM sağlayıcısı genelinde token kullanımını ve API maliyetini tahmin etmenizi sağlayan, böylece oluşturmadan önce fiyatlandırmayı karşılaştırabilmenizi sağlayan bir araçtır.
Bu LLM token maliyet tahmin aracı ne kadar doğrudur?
OpenAI uyumlu modeller, uygun olduğu yerlerde yerel belirteçleyici desteği kullanır. Diğer sağlayıcılar tarayıcı tarafı yaklaşımlarına dayanabilir, bu nedenle tahmin planlama için güçlüdür ancak sağlayıcı faturalama panoları doğruluk için nihai kaynak olmaya devam eder.
Neden istem ve tamamlama tokenlarını ayırıyorsunuz?
Çoğu sağlayıcı giriş ve çıkış tokenları için farklı fiyatlar alır ve çıkış genellikle çok daha pahalıdır. Bunları ayırmak, tahmini gerçek bütçeleme için kullanılabilir hale getirir.
Burada Anthropic bağlam önbelleğe alma maliyetini tahmin edebilir miyim?
Evet. İsteminizin yeniden kullanılan kısmını önbelleğe alınmış giriş tokenları olarak ekleyin, ardından tekrarlanan öneklerin bütçeyi nasıl değiştirdiğini görmek için senaryoyu önbelleğe alınmamış çalıştırmalarla karşılaştırın.
Bu bir toplu API maliyet hesaplayıcısı olarak çalışıyor mu?
Evet. Zaman uyumsuz toplu işleme iş akışlarından bekleyeceğiniz daha düşük toplamı tahmin etmek için toplu indirim geçişini etkinleştirin.
Bu yerel tarayıcı token sayacını kullanırken verilerim saklanıyor mu?
Hayır. Hesaplayıcı, tarayıcı oturumunda yerel yürütme için tasarlanmıştır, bu nedenle yapıştırılan istemler ve belgeler tahmin sırasında cihazınızda kalır.
Bunu bir RAG parça token tahmin aracı olarak kullanabilir miyim?
Evet. Temsili bir belge parçası yapıştırın, ardından alma ek yükü için ek giriş tokenları ekleyin ve K en iyi alma modellerini tahmin etmek için istekleri çarpın.
OpenAI yapılandırılmış çıktı token fiyatlandırmasını nasıl tahmin ederim?
İstemi ve herhangi bir şemayı veya yapılandırılmış çıktı talimatlarını metin moduna yapıştırın, ardından biçimlendirme ek yükünün toplam maliyeti nasıl değiştirdiğini görebilmek için beklenen tamamlama tokenlarını ayarlayın.
Çok dilli LLM token maliyeti dile göre neden değişiyor?
Farklı belirteçleyiciler İngilizce olmayan metni farklı şekilde ayırır, bu nedenle benzer kelime sayıları çok farklı token toplamları üretebilir. Her hedef dili test etmek, küresel kullanımı fiyatlandırmanın en güvenli yoludur.
Özel veya kendi kendine barındırılan bir modeli karşılaştırabilir miyim?
Evet. Kendi model adınızı ve giriş, çıkış ve önbelleğe alınmış giriş için milyon başına token oranlarınızı girmek için özel fiyatlandırma bölümünü kullanın.