Proč má význam vaše základní URL
Základní URL je nejčastějším místem selhání při přechodu mezi poskytovateli. Většina SDK OpenAI výchozím způsobem používá https://api.openai.com. Pokud změníte API klíč, ale zapomenete aktualizovat základní URL, vaše požadavky půjdou na špatný server. To vede k chybám autentizace nebo neočekávané dostupnosti modelu. Vždy zkontrolujte dokumentaci poskytovatele pro přesný endpoint. Například drop-in API bez cenzury může používat https://api.apirouteropen.com/v1. Pouhé změnění základní URL a klíče vám umožní zachovat stávající kód. To zajišťuje kompatibilitu s knihovnami jako LangChain nebo LlamaIndex. Před škálováním využití ověřte URL.
Mýtus o ID modelu
Vývojáři často předpokládají, že ID modelu odpovídá názvu výrobce jako gpt-4 nebo claude-3. Ve skutečnosti je ID modelu specifickým klíčem pro směrování definovaným bránou. Pro naši službu bez cenzury je ID jednoduše uncensored. Odesílání gpt-3.5-turbo může selhat nebo vrátit jiný model, pokud brána jeho mapování nezajišťuje. Vždy používejte přesné ID uvedené v dokumentaci. To platí pro všechny proxy LLM. Zkontrolujte GET /v1/models endpoint pro zobrazení dostupných možností. Nesprávná identifikace ID modelu způsobí okamžité selhání požadavku. Není to produkt dodavatele, ale konfigurační parametr.
Překvapení limitu rychlosti
Omezení rychlosti se často vztahují na klíč API, nikoli na účet. Pokud používáte jeden klíč pro více procesů, můžete limit rychle překročit. Naše API umožňuje 300 požadavků za minutu a 8 souběžných požadavků na klíč. Překročení těchto limitů vrací chybu 429. To je kritické pro aplikace s vysokým objemem provozu. Používejte samostatné klíče pro různé služby, abyste předešli rušení. Sledujte své využití přes panel. Omezení rychlosti chrání stabilitu serveru, ale mohou narušit automatizované pracovní postupy. Plánujte svou souběžnost pečlivě. Nahrazení jednoho klíče okamžitě zneplatní starý klíč. To zabraňuje souběžnému používání stejného klíče.
Záměna streamování vs. nestreamování
Streamované odpovědi vyžadují specifické zpracování na straně klienta. SDK musí být nakonfigurováno pro zpracování událostí server-sent events (SSE). Pokud použijete klienta bez streamování, budete čekat na celou odpověď. To zvyšuje latenci pro dlouhé výstupy. Naše API podporuje streamování s využitím tokenů v posledním bloku. To umožňuje zobrazování textu v reálném čase. Nestreamování je lepší pro dávkové zpracování. Vyberte režim podle vašeho případu použití. Nesprávné zpracování může vést k visícím připojením. Vždy nejprve otestujte streamování na malé vzorce. Ujistěte se, že váš klient podporuje SSE pro optimální výkon.
Chyby při počítání tokenů
Počítání tokenů se liší mezi poskytovateli. Někteří počítají mezery, jiní ne. Naše API počítá tokeny promptu a dokončení dohromady. Okno kontextu má 100,000 tokenů. Maximální výstup je 16,000 tokenů na požadavek. Pokud tuto hodnotu překročíte, požadavek selže. Nepředpokládejte, že tokenizace OpenAI odpovídá té naší. Pro přesnost použijte tokenizátor poskytovatele. Chyby v počítání tokenů vedou k neočekávaným poplatkům nebo selháním. Vždy ověřte počet tokenů před odesláním dlouhých promptů. To je zvláště důležité u aplikací s dlouhým kontextem. Špatné počítání může plýtvat kredity na zamítnuté požadavky.
Ignorování limitů volání funkcí
Volání funkcí vyžaduje specifické formátování JSON. SDK musí podporovat response_format parametr. Naše API podporuje režim JSON pro strukturované výstupy. Pokud toto ignorujete, model může vrátit neplatný JSON. To naruší automatické parsování. Vždy nejprve otestujte volání funkcí s jednoduchým schématem. Ujistěte se, že váš klient správně zpracovává volby nástrojů. Volání funkcí není podporováno ve všech modelech. Zkontrolujte dokumentaci pro podporované funkce. Ignorování těchto limitů vede k nespolehlivé automatizaci. Ověřte, zda formát výstupu odpovídá vašim očekáváním.
Zpoždění při dobíjení kryptoměnami
Platby kryptoměnami mohou vyžadovat čas na potvrzení. Přijímáme USDT (TRC20) a USDC (Base). Podporovány jsou platby od $20 do $500. Bonusový kredit se uplatňuje při částkách $50, $100 a $200. Zpoždění nastávají kvůli přetížení blockchainu. Pro stav zkontrolujte hash transakce. Náš systém přičte kredit na váš účet po potvrzení. To obvykle trvá několik minut. Při vysoké zátěži to může trvat déle. Použijte spolehlivý průzkumník blockchainu. Neposílejte stejnou transakci znovu. To způsobí duplicitní kredity nebo chyby. Plánujte své vklady předem pro nepřerušovanou službu.
Expirace zkušebního kreditu
Zkušební kredity vyprší po 7 dnech. Nové účty dostávají $0.50. Umožňuje testování bez závazku. Krátké okno však omezuje rozsáhlé testování. Pomocí zkušebního období ověřte kompatibilitu. Zkontrolujte základní URL, ID modelu a streamování. Pokud to funguje, doplňte prostředky pomocí kryptoměn. Zkušební kredity jsou nevratná. Jsou ideální pro rychlé ověření. Nepočítejte s nimi pro dlouhodobé projekty. Vypršení je přísné. Plánujte svůj testovací harmonogram podle toho. Zajistíte tak, že během zkušebního období neztratíte čas.
