क्रॉस-मॉडल टोकन कैलकुलेटर: एलएलएम एपीआई लागत का तुरंत अनुमान लगाएं

यह एक ऐसा उपकरण है जो आपको एक ही इनपुट से कई एलएलएम प्रदाताओं में टोकन उपयोग और एपीआई लागत का अनुमान लगाने की सुविधा देता है ताकि आप निर्माण करने से पहले मूल्य निर्धारण की तुलना कर सकें।

OpenAI-संगत मॉडल जहाँ उपलब्ध हो, स्थानीय टोकनाइज़र समर्थन का उपयोग करते हैं। अन्य प्रदाता ब्राउज़र-साइड अनुमानों पर निर्भर हो सकते हैं, इसलिए अनुमान योजना के लिए मजबूत है लेकिन प्रदाता बिलिंग डैशबोर्ड सत्य का अंतिम स्रोत बने हुए हैं।

अधिकांश प्रदाता इनपुट और आउटपुट टोकन के लिए अलग-अलग शुल्क लेते हैं, और आउटपुट अक्सर बहुत अधिक महंगा होता है। उन्हें विभाजित करने से अनुमान वास्तविक बजट के लिए उपयोगी हो जाता है।

हाँ। अपने प्रॉम्प्ट के उस हिस्से को जोड़ें जो कैश इनपुट टोकन के रूप में पुन: उपयोग किया जाता है, फिर बिना कैश वाले रन की तुलना में परिदृश्य की तुलना करें ताकि यह देखा जा सके कि बार-बार होने वाले उपसर्ग बजट को कैसे बदलते हैं।

हाँ। एसिंक्रोनस बल्क प्रोसेसिंग वर्कफ़्लो से अपेक्षित कम कुल का अनुमान लगाने के लिए बैच छूट टॉगल सक्षम करें।

नहीं। कैलकुलेटर को ब्राउज़र सत्र में स्थानीय निष्पादन के लिए डिज़ाइन किया गया है, इसलिए पेस्ट किए गए प्रॉम्प्ट और दस्तावेज़ अनुमान के दौरान आपके डिवाइस पर रहते हैं।

हाँ। एक प्रतिनिधि दस्तावेज़ चंक पेस्ट करें, फिर पुनर्प्राप्ति ओवरहेड के लिए अतिरिक्त इनपुट टोकन जोड़ें और टॉप-के पुनर्प्राप्ति पैटर्न की लागत को मॉडल करने के लिए अनुरोधों को गुणा करें।

टेक्स्ट मोड में प्रॉम्प्ट और कोई भी स्कीमा या संरचित-आउटपुट निर्देश पेस्ट करें, फिर अपेक्षित कंप्लीशन टोकन सेट करें ताकि आप देख सकें कि फ़ॉर्मेटिंग ओवरहेड कुल लागत को कैसे बदलता है।

विभिन्न टोकनाइज़र गैर-अंग्रेजी टेक्स्ट को अलग तरह से विभाजित करते हैं, इसलिए समान शब्द गणना बहुत अलग टोकन कुल उत्पन्न कर सकती है। प्रत्येक लक्षित भाषा का परीक्षण करना वैश्विक उपयोग की कीमत तय करने का सबसे सुरक्षित तरीका है।

हाँ। अपने स्वयं के मॉडल नाम और इनपुट, आउटपुट और कैश इनपुट के प्रति मिलियन टोकन दरों को दर्ज करने के लिए कस्टम मूल्य निर्धारण अनुभाग का उपयोग करें।