Base URL이 중요한 이유
기본 URL은 공급자를 전환할 때 가장 흔히 실패하는 지점입니다. 대부분의 OpenAI SDK는 기본적으로 https://api.openai.com. API 키를 변경했지만 기본 URL을 업데이트하는 것을 잊은 경우 요청이 잘못된 서버로 전송됩니다. 이는 인증 오류나 예상치 못한 모델 가용성을 초래합니다. 항상 제공업체의 문서에서 정확한 엔드포인트를 확인하세요. 예를 들어, 드롭인 무검열 API는 https://api.apirouteropen.com/v1기본 URL과 키만 변경하면 기존 코드를 유지할 수 있습니다. 이는 LangChain이나 LlamaIndex와 같은 라이브러리와의 호환성을 보장합니다. 사용량을 확장하기 전에 URL을 확인하세요.
모델 ID 오해
개발자들은 모델 ID가 벤더 이름과 일치한다고 가정합니다. gpt-4 또는 claude-3. 실제로 모델 ID는 게이트웨이에서 정의된 특정 라우팅 키입니다. 우리의 무검열 서비스에서 ID는 단순히 uncensored전송 gpt-3.5-turbo 게이트웨이가 모델을 매핑하지 않으면 실패하거나 다른 모델을 반환할 수 있습니다. 문서에서 제공된 정확한 ID를 항상 사용하세요. 이는 모든 LLM 프록시에 적용됩니다. 확인 GET /v1/models 사용 가능한 옵션을 확인합니다. 모델 ID를 잘못 식별하면 요청이 즉시 실패합니다. 이는 벤더의 제품이 아니라 구성 매개변수입니다.
속도 제한 놀라움
Rate limits는 종종 계정별이 아닌 API 키별로 적용됩니다. 단일 키를 여러 프로세스에 사용하면 한도에 빠르게 도달할 수 있습니다. 당사의 API는 키당 분당 300회 요청과 8개의 동시 요청을 허용합니다. 이러한 한도를 초과하면 429 에러가 반환됩니다. 이는 대용량 애플리케이션에 중요합니다. 서비스 간 간섭을 피하기 위해 서로 다른 서비스에 별도의 키를 사용하세요. 대시보드를 통해 사용량을 모니터링하세요. Rate limits는 서버 안정성을 보호하지만 자동화된 워크플로우를 방해할 수 있습니다. 동시성을 신중하게 계획하세요. 키를 교체하면 이전 키가 즉시 무효화되므로 동일한 키의 동시 사용이 방지됩니다.
스트리밍 vs 비스트리밍 혼란
스트리밍 응답은 특정 클라이언트 처리가 필요합니다. SDK는 서버 전송 이벤트(SSE)를 처리하도록 구성해야 합니다. 비스트리밍 클라이언트를 사용하면 전체 응답을 기다리게 됩니다. 이는 긴 출력의 경우 지연 시간을 증가시킵니다. 당사 API는 마지막 청크에 토큰 사용량을 포함하는 스트리밍을 지원합니다. 이를 통해 텍스트를 실시간으로 표시할 수 있습니다. 배치 처리에는 비스트리밍이 더 적합합니다. 사용 사례에 따라 모드를 선택하세요. 잘못된 처리는 연결 고착으로 이어질 수 있습니다. 항상 작은 샘플로 스트리밍을 테스트하세요. 최적의 성능을 위해 클라이언트가 SSE를 지원하는지 확인하세요.
토큰 세기 오류
토큰 카운팅은 제공업체 간에 다릅니다. 일부는 공백을 세지만 다른 곳은 세지 않습니다. 저희 API는 프롬프트 및 완성 토큰을 함께 셉니다. 컨텍스트 윈도우는 100,000 토큰입니다. 요청당 최대 출력은 16,000 토큰입니다. 이를 초과하면 요청이 실패합니다. OpenAI의 토큰화가 저희와 일치한다고 가정하지 마세요. 정확성을 위해 제공업체의 토크나이저를 사용하세요. 토큰 카운팅 오류는 예상치 못한 요금 또는 실패를 초래합니다. 큰 프롬프트를 보내기 전에 토큰 수를 항상 확인하세요. 이는 특히 긴 컨텍스트 애플리케이션에서 중요합니다. 잘못된 카운팅은 거부된 요청에 크레딧을 낭비할 수 있습니다.
함수 호출 제한 무시
함수 호출은 특정 JSON 형식이 필요합니다. SDK는 response_format 파라미터. 당사 API는 구조화된 출력을 위해 JSON 모드를 지원합니다. 이를 무시하면 모델이 유효하지 않은 JSON을 반환할 수 있습니다. 이는 자동화된 파싱을 방해합니다. 먼저 간단한 스키마로 함수 호출을 테스트하세요. 클라이언트가 도구 선택을 올바르게 처리하는지 확인하세요. 모든 모델에서 함수 호출이 지원되는 것은 아닙니다. 지원되는 기능에 대한 문서를 확인하세요. 이러한 제한을 무시하면 신뢰할 수 없는 자동화가 발생합니다. 출력 형식이 기대와 일치하는지 확인하세요.
암호화폐 충전 지연
암호화폐 결제는 확인에 시간이 걸릴 수 있습니다. USDT(TRC20)와 USDC(Base)를 받습니다. $20에서 $500의 결제가 지원됩니다. 보너스 크레딧은 $50, $100, $200에서 적용됩니다. 지연은 블록체인 혼잡으로 인해 발생합니다. 거래 해시로 상태를 확인하세요. 시스템은 확인 후 계정에 크레딧을 추가합니다. 이는 보통 몇 분 정도 걸립니다. 트래픽이 많을 때는 더 오래 걸릴 수 있습니다. 신뢰할 수 있는 블록체인 탐색기를 사용하세요. 동일한 거래를 재전송하지 마세요. 이는 중복 크레딧 또는 오류를 유발합니다. 중단 없는 서비스를 위해 사전에 충전 계획을 세우세요.
트라이얼 크레딧 만료
試用 크레딧은 7일 후 만료됩니다. 신규 계정에는 $0.50가 제공됩니다. 이를 통해 부담 없이 테스트할 수 있습니다. 그러나 짧은 기간은 광범위한 테스트에 제한이 있습니다. trial을 사용하여 호환성을 확인하세요. 기본 URL, 모델 ID, 스트리밍을 확인하세요. 작동하면 암호화폐로 충전하세요.試用 크레딧은 환불되지 않습니다. 빠른 검증에 이상적입니다. 장기 프로젝트에는 의존하지 마세요. 만료 기한이 엄격합니다. 테스트 일정을 적절히 계획하세요. 이를 통해試用 기간 동안 시간을 낭비하지 않습니다.
