Чому важлива ваша базова URL-адреса
Базовий URL-адреса є найпоширенішою точкою відмови при зміні постачальників. Більшість OpenAI SDK за замовчуванням встановлені на https://api.openai.com. Якщо ви зміните API-ключ, але забудете оновити базовий URL, ваші запити підуть на неправильний сервер. Це призведе до помилок автентифікації або несподіваної доступності моделі. Завжди перевіряйте документацію постачальника для точної адреси. Наприклад, готова необмежена API може використовувати https://api.apirouteropen.com/v1. Зміна лише базової URL-адреси та ключа дозволяє зберегти існуючий код. Це забезпечує сумісність із бібліотеками на кшталт LangChain або LlamaIndex. Перевірте URL-адресу перед масштабуванням використання.
Помилкове уявлення про ідентифікатор моделі
Розробники часто припускають, що ідентифікатор моделі відповідає назві постачальника, наприклад gpt-4 або claude-3. Насправді ідентифікатор моделі — це конкретний ключ маршрутизації, визначений шлюзом. Для нашого сервісу без цензури ідентифікатор — це просто uncensored. Надсилаючи gpt-3.5-turbo може не спрацювати або повернути іншу модель, якщо шлюз не відображає її. Завжди використовуйте точний ідентифікатор, наданий у документації. Це стосується всіх проксі LLM. Перевірте GET /v1/models ендпоінт для перегляду доступних опцій. Неправильне визначення ідентифікатора моделі призводить до миттєвих помилок запиту. Це не продукт постачальника, а параметр конфігурації.
Неочікувані ліміти частоти
Обмеження швидкості часто діють для кожного API-ключа окремо, а не для всього облікового запису. Якщо ви використовуєте один ключ для кількох процесів, ви можете швидко вичерпати ліміт. Наш API дозволяє 300 запитів за хвилину та 8 одночасних запитів на ключ. Перевищення цих лімітів повертає помилку 429. Це критично важливо для додатків з великим обсягом. Використовуйте окремі ключі для різних сервісів, щоб уникнути перешкод. Моніторьте своє використання через панель інструментів. Обмеження швидкості захищають стабільність сервера, але можуть порушити автоматизовані робочі процеси. Плануйте паралелізм ретельно. Заміна одного ключа негайно інвалідує старий ключ. Це запобігає одночасному використанню одного й того ж ключа.
Плутанина між потоковим та непотоковим режимами
Потокові відповіді вимагають специфічної обробки на стороні клієнта. SDK має бути налаштовано для обробки подій, надісланих сервером (SSE). Якщо ви використовуєте клієнт без підтримки потокової передачі, ви чекатимете на всю відповідь. Це збільшує затримку для довгих виводів. Наш API підтримує потокову передачу з використанням токенів у останньому фрагменті. Це дозволяє відображати текст у реальному часі. Непотоковий режим краще підходить для пакетної обробки. Обирайте режим залежно від вашого випадку використання. Неправильна обробка може призвести до зависання з'єднань. Завжди тестуйте потокову передачу спочатку з невеликим зразком. Переконайтеся, що ваш клієнт підтримує SSE для оптимальної продуктивності.
Помилки підрахунку токенів
Підрахунок токенів відрізняється у різних постачальників. Деякі рахують пробіли, інші — ні. Наш API рахує токени промпту та завершення разом. Вікно контексту становить 100,000 токенів. Максимальний вивід — 16,000 токенів за запит. Якщо ви перевищите цей ліміт, запит буде відхилено. Не припускайте, що токенизація OpenAI збігається з нашою. Використовуйте токенизатор постачальника для точності. Помилки підрахунку токенів призводять до несподіваних платежів або збоїв. Завжди перевіряйте кількість токенів перед надсиланням великих промптів. Це особливо важливо для додатків з довгим контекстом. Неправильний підрахунок може марнувати кредити на відхилені запити.
Ігнорування обмежень виклику функцій
Виклик функцій вимагає специфічного форматування JSON. SDK має підтримувати response_format параметр. Наш API підтримує режим JSON для структурованих виводів. Якщо ви ігноруєте це, модель може повернути недійсний JSON. Це порушує автоматичний парсинг. Завжди тестуйте виклик функцій спочатку з простою схемою. Переконайтеся, що ваш клієнт правильно обробляє вибір інструментів. Виклик функцій підтримується не всіма моделями. Перевірте документацію щодо підтримуваних функцій. Ігнорування цих обмежень призводить до ненадійної автоматизації. Переконайтеся, що формат вихідних даних відповідає вашим очікуванням.
Затримки при поповненні криптовалютою
Криптовалютні платежі можуть займати час на підтвердження. Ми приймаємо USDT (TRC20) та USDC (Base). Підтримуються платежі від $20 до $500. Бонусний кредит застосовується при $50, $100 та $200. Затримки виникають через перевантаження блокчейну. Перевірте хеш транзакції для статусу. Наша система зараховує кошти на ваш рахунок після підтвердження. Зазвичай це займає кілька хвилин. Під час високого трафіку це може зайняти більше часу. Використовуйте надійний блокчейн-експлорер. Не надсилайте ту саму транзакцію повторно. Це призводить до подвійних кредитів або помилок. Плануйте поповнення заздалегідь для безперервної роботи сервісу.
Закінчення терміну дії пробного кредиту
Пробні кредити згорають через 7 днів. Новим акаунтам нараховується $0.50. Це дозволяє тестувати без зобов'язань. Однак короткий термін обмежує всебічне тестування. Використовуйте пробний період для перевірки сумісності. Перевірте базовий URL, ID моделі та потокову передачу. Якщо все працює, поповніть баланс криптовалютою. Пробні кредити не підлягають поверненню. Вони ідеальні для швидкої перевірки. Не покладайтеся на них для довгострокових проектів. Термін дії суворо дотримується. Плануйте графік тестування відповідним чином. Це гарантує, що ви не марнуєте час під час пробного періоду.
