繁中 ▾
ApiRouterOpen

無縫替換非審查 LLM API

OpenRouter:常見錯誤

開發者通常難以應對 LLM 網關,因為他們假設所有端點都像標準 OpenAI 服務一樣運行。誤配基礎 URL 或模型 ID 會破壞兼容性,而忽視速率限制和 token 計數規則會導致意外錯誤。了解這些細微差別可確保您的自動化腳本可靠運行,而不會因靜默故障而浪費信用額。

最後更新

摘要

  1. 務必確認您的基礎 URL 與供應商完全相符,因為通用的 OpenAI SDK 預設指向 openai.com。
  2. 模型 ID 不是廠商名稱,而是一個必須符合提供者設定的特定路由金鑰。
  3. 速率限制適用於每支 API 金鑰,因此如果並行請求超過允許的閾值,可能會失敗。
  4. 串流回應需要特定的客戶端處理,以避免連線掛起或遺失部分資料。

為何您的 Base URL 很重要

基礎網址是切換提供者時最常見的失敗點。大多數 OpenAI SDK 預設為 https://api.openai.com. 如果您更改了 API 金鑰但忘記更新基礎 URL,您的請求將發送到錯誤的伺服器。這會導致身份驗證錯誤或模型可用性異常。請始終檢查供應商的文件以獲取確切的端點。例如,一個即插即用的無審查 API 可能使用 https://api.apirouteropen.com/v1. 僅更改基礎 URL 和金鑰即可讓您保留現有程式碼。這確保了與 LangChain 或 LlamaIndex 等庫的相容性。在擴大使用量之前請驗證 URL。

模型 ID 迷思

開發者常誤以為模型 ID 對應於供應商的名稱,例如 gpt-4 或 claude-3. 實際上,模型 ID 是由閘道定義的特定路由金鑰。對於我們的無審查服務,ID 僅為 uncensored. 發送 gpt-3.5-turbo 如果網關沒有映射它,可能會失敗或返回不同的模型。始終使用文檔中提供的確切 ID。這適用於所有 LLM 代理。檢查 GET /v1/models 用於查看可用選項。誤認模型 ID 會導致請求立即失敗。它不是廠商的產品,而是配置參數。

速率限制意外

速率限制通常以 API 金鑰為單位,而非以帳戶為單位。若您使用單一金鑰處理多個程序,可能會快速達到限制。我們的 API 允許每個金鑰每分鐘 300 次請求及 8 個並行請求。超過這些限制將返回 429 錯誤。這對於高容量應用程式至關重要。為不同服務使用獨立金鑰以避免干擾。透過儀表板監控您的使用情況。速率限制保護伺服器穩定性,但可能干擾自動化工作流程。請謹慎規劃並行能力。單一金鑰替換會立即使舊金鑰無效。這可防止同一金鑰被同時使用。

串流與非串流混淆

串流回應需要特定的客戶端處理。SDK 必須配置為處理伺服器發送事件(SSE)。如果您使用非串流客戶端,您將等待整個回應。這會增加長輸出的延遲。我們的 API 支援串流,並在最後一個區塊中包含權杖使用情況。這允許即時顯示文字。非串流模式更適合批次處理。根據您的使用案例選擇模式。處理不當可能導致連線掛起。始終先以小樣本測試串流。確保您的客戶端支援 SSE 以獲得最佳效能。

Token 計數錯誤

Token 計數因供應商而異。有些計算空白字元,有些則不計算。我們的 API 將提示詞和補全 Token 一起計算。上下文視窗為 100,000 Token。每次請求的最大輸出為 16,000 Token。如果您超過此限制,請求將失敗。不要假設 OpenAI 的分詞方式與我們相同。使用供應商的計數器以確保準確性。Token 計數錯誤會導致意外費用或失敗。在發送大型提示詞之前,務必驗證 Token 計數。這對於長上下文應用程式尤其重要。計數錯誤可能會在拒絕的請求上浪費信用額度。

忽略函數呼叫限制

函式呼叫需要特定的 JSON 格式。SDK 必須支援 response_format 參數。我們的 API 支援 JSON 模式以產生結構化輸出。若忽略此項,模型可能會返回無效的 JSON。這會破壞自動化解析。請務必先使用簡單的結構描述測試函數呼叫。確保您的用戶端能正確處理工具選擇。並非所有模型都支援函數呼叫。請查閱文件以了解支援的功能。忽略這些限制會導致自動化作業不可靠。請驗證輸出格式是否符合您的預期。

加密貨幣充值延遲

加密貨幣支付可能需要時間才能確認。我們接受 TRC20 上的 USDT 和 Base 上的 USDC。支援 $20 至 $500 的付款。$50、$100 和 $200 適用額外信用額度。延誤是由於區塊鏈擁堵造成的。請檢查交易雜湊以獲取狀態。我們的系統在確認後為您的帳戶記帳。這通常需要幾分鐘。在高流量期間,可能需要更長時間。請使用可靠的區塊鏈瀏覽器。不要重新發送相同的交易。這會導致重複記帳或錯誤。請提前規劃儲值以確保服務不中斷。

試用額度過期

試用額度於 7 天後過期。新帳戶可獲得 $0.50。這允許您在無承諾的情況下進行測試。然而,短暫的期限限制了廣泛的測試。請利用試用來驗證相容性。檢查基礎 URL、模型 ID 和串流功能。如果運作正常,請使用加密貨幣充值。試用額度不可退還。它們非常適合快速驗證。不要依賴它們進行長期專案。過期規則嚴格。請根據此規劃您的測試時間表。這確保您不會在試用期間浪費時間。

常見問題

這是官方的 OpenAI API 嗎?

不,這是一個獨立服務,與 OpenAI 相容。它使用相同的端點結構,但提供不同的模型。基礎 URL 不同,因此您必須更新您的設定。它不是 OpenAI's 模型的經銷商。

如何處理串流回應?

在您的 SDK 呼叫中使用 streaming 參數。回應將以伺服器發送事件的形式發送。請在每個區塊到達時進行處理。這可降低長輸出時的延遲。請確保您的客戶端支援 SSE 以進行適當處理。

如果我超出速率限制會發生什麼事?

您將收到 429 錯誤。每個金鑰每分鐘請求限制為 300 次。併發請求限制為 8 個。為不同的程序使用不同的金鑰以避免干擾。監控您的使用情況以保持在限制範圍內。

您接受哪些付款方式?

僅限加密貨幣:TRC20 上的 USDT 或 Base 上的 USDC,任何整數金額從 $20 到 $500。從 $50 起享有額外餘額獎勵。

存取您的 API 金鑰

註冊、取得金鑰,並更新您的基礎 URL。您只需做到這裡。

建立金鑰