Dlaczego Twój Base URL ma znaczenie
Podstawowy adres URL jest najczęstszą przyczyną błędów podczas zmiany dostawcy. Większość SDK OpenAI domyślnie używa https://api.openai.com. Jeśli zmienisz klucz API, ale zapomnisz zaktualizować adres bazowy (base URL), Twoje żądania trafią na niewłaściwy serwer. Spowoduje to błędy uwierzytelniania lub nieoczekiwaną dostępność modelu. Zawsze sprawdzaj dokumentację dostawcy pod kątem dokładnego endpointu. Na przykład, API typu drop-in uncensored może używać https://api.apirouteropen.com/v1. Zmiana tylko adresu URL bazowego i klucza pozwala na zachowanie istniejącego kodu. Gwarantuje to kompatybilność z bibliotekami takimi jak LangChain lub LlamaIndex. Zweryfikuj URL przed skalowaniem użytkowania.
Mit dotyczący ID modelu
Deweloperzy często zakładają, że identyfikator modelu odpowiada nazwie dostawcy, takiej jak gpt-4 lub claude-3. W rzeczywistości ID modelu to konkretny klucz routingu zdefiniowany przez bramkę (gateway). Dla naszej usługi uncensored ID to po prostu uncensored. Wysyłanie gpt-3.5-turbo może nie powieść się lub zwrócić inny model, jeśli brama go nie mapuje. Zawsze używaj dokładnego ID dostarczonego w dokumentacji. Dotyczy to wszystkich proxy LLM. Sprawdź GET /v1/models endpoint do zobaczenia dostępnych opcji. Nieprawidłowa identyfikacja identyfikatora modelu powoduje natychmiastowe błędy żądań. Nie jest to produkt dostawcy, ale parametr konfiguracji.
Zaskoczenia związane z limitami prędkości
Ograniczenia szybkości dotyczą często każdego klucza API, a nie całego konta. Jeśli używasz jednego klucza dla wielu procesów, możesz szybko osiągnąć limit. Nasze API pozwala na 300 żądań na minutę i 8 żądań współbieżnych dla każdego klucza. Przekroczenie tych limitów zwraca błąd 429. Jest to krytyczne dla aplikacji o dużym wolumenie. Używaj osobnych kluczy dla różnych usług, aby uniknąć zakłóceń. Monitoruj swoje zużycie przez panel użytkowania. Ograniczenia szybkości chronią stabilność serwera, ale mogą zakłócić automatyczne przepływy pracy. Zaplanuj swoją współbieżność starannie. Zastąpienie jednego klucza unieważnia stary klucz natychmiast. Zapobiega to jednoczesnemu użyciu tego samego klucza.
Pomylenie strumieniowania vs. nie-strumieniowania
Odpowiedzi strumieniowe wymagają specyficznej obsługi po stronie klienta. SDK musi być skonfigurowane do obsługi zdarzeń wysyłanych przez serwer (SSE). Jeśli użyjesz klienta nieobsługującego strumieniowania, będziesz czekać na całą odpowiedź. Zwiększa to opóźnienia dla długich wyjść. Nasze API obsługuje strumieniowanie z użyciem tokenów w ostatnim fragmencie. Pozwala to na wyświetlanie tekstu w czasie rzeczywistym. Tryb nie-strumieniowy jest lepszy do przetwarzania wsadowego. Wybierz tryb w zależności od przypadku użycia. Nieprawidłowa obsługa może prowadzić do zawieszania się połączeń. Zawsze testuj strumieniowanie najpierw na małej próbce. Upewnij się, że Twój klient obsługuje SSE dla optymalnej wydajności.
Błędy liczenia tokenów
Liczenie tokenów różni się w zależności od dostawców. Niektórzy liczą białe znaki, inni nie. Nasze API liczy tokeny promptu i odpowiedzi łącznie. Okno kontekstowe ma 100,000 tokenów. Maksymalna długość odpowiedzi to 16,000 tokenów na żądanie. Jeśli przekroczysz ten limit, żądanie zostanie odrzucone. Nie zakładaj, że tokenizacja OpenAI jest taka sama jak nasza. Używaj tokenizera dostawcy dla dokładności. Błędy w liczeniu tokenów prowadzą do nieoczekiwanych opłat lub błędów. Zawsze weryfikuj liczbę tokenów przed wysłaniem długich promptów. Jest to szczególnie ważne w aplikacjach z długim kontekstem. Błędne obliczenia mogą zmarnować kredyty na odrzucone żądania.
Ignorowanie limitów wywoływania funkcji
Wywoływanie funkcji wymaga określonego formatowania JSON. SDK musi obsługiwać response_format parametr. Nasze API obsługuje tryb JSON dla danych strukturalnych. Jeśli tego zignorujesz, model może zwrócić nieprawidłowy JSON. To psuje automatyczne parsowanie. Zawsze przetestuj wywoływanie funkcji najpierw za pomocą prostego schematu. Upewnij się, że Twój klient poprawnie obsługuje wybory narzędzi. Wywoływanie funkcji nie jest obsługiwane we wszystkich modelach. Sprawdź dokumentację w zakresie obsługiwanych funkcji. Ignorowanie tych limitów prowadzi do niezawodnej automatyzacji. Zweryfikuj, czy format outputu odpowiada Twoim oczekiwaniom.
Opóźnienia przy doładowaniu kryptowalutami
Płatności kryptowalutą mogą wymagać czasu na potwierdzenie. Akceptujemy USDT (TRC20) i USDC (Base). Obsługiwane są płatności od $20 do $500. Bonus kredytowy stosuje się przy $50, $100 i $200. Opóźnienia wynikają z zatłoczenia blockchaina. Sprawdź hash transakcji, aby uzyskać status. Nasz system kredytuje Twoje konto po potwierdzeniu. Zwykle zajmuje to kilka minut. Przy dużym ruchu może to zająć dłużej. Użyj niezawodnego eksploratora blockchaina. Nie wysyłaj tej samej transakcji ponownie. Powoduje to podwójne kredyty lub błędy. Planuj swoje doładowania z wyprzedzeniem, aby zapewnić nieprzerwane usługi.
Wygaśnięcie kredytu próbnego
Kredyty próbne wygasają po 7 dniach. Nowe konta otrzymują $0.50. Pozwala to na testowanie bez zobowiązań. Krótki okres jednak ogranicza dogłębne testowanie. Wykorzystaj próbę do weryfikacji kompatybilności. Sprawdź adres bazowy, identyfikator modelu i strumieniowanie. Jeśli zadziała, doładuj kryptowalutą. Kredyty próbne są niepodlegające zwrotowi. Są idealne do szybkiej walidacji. Nie polegaj na nich w długoterminowych projektach. Wygaśnięcie jest ścisłe. Zaplanuj harmonogram testów odpowiednio. Zapewni to, że nie zmarnujesz czasu w okresie próbnym.
