Tại sao URL cơ sở của bạn quan trọng
URL cơ sở là điểm thất bại phổ biến nhất khi chuyển đổi nhà cung cấp. Hầu hết các SDK OpenAI mặc định trỏ đến https://api.openai.com. Nếu bạn thay đổi khóa API nhưng quên cập nhật URL cơ sở, các yêu cầu của bạn sẽ đi đến máy chủ sai. Điều này dẫn đến lỗi xác thực hoặc khả năng mô hình không mong đợi. Luôn kiểm tra tài liệu của nhà cung cấp cho điểm cuối chính xác. Ví dụ, một API không kiểm duyệt thay thế trực tiếp có thể sử dụng https://api.apirouteropen.com/v1. Chỉ cần thay đổi URL cơ bản và khóa cho phép bạn giữ nguyên mã hiện có. Điều này đảm bảo tương thích với các thư viện như LangChain hoặc LlamaIndex. Xác minh URL trước khi mở rộng quy mô sử dụng của bạn.
Hiểu lầm về ID mô hình
Các nhà phát triển thường giả định rằng ID mô hình tương ứng với tên của nhà cung cấp như gpt-4 hoặc claude-3. Trên thực tế, ID mô hình là một khóa định tuyến cụ thể do cổng xác định. Đối với dịch vụ không kiểm duyệt của chúng tôi, ID đơn giản là uncensored. Đang gửi gpt-3.5-turbo có thể thất bại hoặc trả về một mô hình khác nếu gateway không ánh xạ nó. Luôn sử dụng chính xác ID được cung cấp trong tài liệu. Điều này áp dụng cho tất cả các proxy LLM. Kiểm tra GET /v1/models endpoint để xem các tùy chọn có sẵn. Việc xác định sai ID mô hình sẽ gây ra lỗi yêu cầu ngay lập tức. Nó không phải là sản phẩm của nhà cung cấp mà là một tham số cấu hình.
Bất ngờ về giới hạn tốc độ
Giới hạn tốc độ thường áp dụng theo từng khóa API, không phải theo tài khoản. Nếu bạn sử dụng một khóa duy nhất cho nhiều quy trình, bạn có thể sẽ chạm giới hạn nhanh chóng. API của chúng tôi cho phép 300 yêu cầu mỗi phút và 8 yêu cầu đồng thời trên mỗi khóa. Vượt quá các giới hạn này sẽ trả về lỗi 429. Điều này rất quan trọng đối với các ứng dụng khối lượng lớn. Sử dụng các khóa riêng biệt cho các dịch vụ khác nhau để tránh nhiễu. Theo dõi mức sử dụng của bạn thông qua bảng điều khiển. Giới hạn tốc độ bảo vệ sự ổn định của máy chủ nhưng có thể làm gián đoạn các quy trình tự động hóa. Hãy lập kế hoạch cho độ đồng thời của bạn một cách cẩn thận. Việc thay thế một khóa duy nhất sẽ vô hiệu hóa khóa cũ ngay lập tức. Điều này ngăn chặn việc sử dụng đồng thời cùng một khóa.
Sự nhầm lẫn giữa Streaming và Không Streaming
Các phản hồi dạng stream yêu cầu xử lý cụ thể phía máy khách. SDK phải được cấu hình để xử lý các sự kiện được máy chủ gửi (SSE). Nếu bạn sử dụng máy khách không hỗ trợ streaming, bạn sẽ phải đợi toàn bộ phản hồi. Điều này làm tăng độ trễ cho các đầu ra dài. API của chúng tôi hỗ trợ streaming với sử dụng token trong chunk cuối cùng. Điều này cho phép hiển thị văn bản theo thời gian thực. Không streaming tốt hơn cho xử lý hàng loạt. Hãy chọn chế độ dựa trên trường hợp sử dụng của bạn. Xử lý sai có thể dẫn đến các kết nối treo. Luôn kiểm tra streaming với một mẫu nhỏ trước. Đảm bảo máy khách của bạn hỗ trợ SSE để có hiệu suất tối ưu.
Lỗi đếm Token
Việc đếm token khác nhau giữa các nhà cung cấp. Một số đếm khoảng trắng, những số khác thì không. API của chúng tôi đếm token prompt và completion cùng nhau. Cửa sổ ngữ cảnh là 100,000 token. Đầu ra tối đa là 16,000 token cho mỗi yêu cầu. Nếu bạn vượt quá giới hạn này, yêu cầu sẽ thất bại. Đừng giả định rằng việc phân tích cú pháp của OpenAI giống với của chúng tôi. Hãy sử dụng bộ phân tích cú pháp của nhà cung cấp để có độ chính xác. Lỗi đếm token dẫn đến các khoản phí hoặc lỗi không mong đợi. Luôn xác minh số lượng token trước khi gửi các prompt lớn. Điều này đặc biệt quan trọng đối với các ứng dụng ngữ cảnh dài. Đếm sai có thể lãng phí số dư cho các yêu cầu bị từ chối.
Bỏ qua Giới hạn Gọi Hàm
Gọi hàm yêu cầu định dạng JSON cụ thể. SDK phải hỗ trợ response_format tham số. API của chúng tôi hỗ trợ chế độ JSON cho các đầu ra có cấu trúc. Nếu bạn bỏ qua điều này, mô hình có thể trả về JSON không hợp lệ. Điều này làm hỏng việc phân tích cú pháp tự động. Luôn kiểm tra gọi hàm với một lược đồ đơn giản trước. Đảm bảo máy khách của bạn xử lý đúng các lựa chọn công cụ. Gọi hàm không được hỗ trợ trong tất cả các mô hình. Kiểm tra tài liệu để biết các tính năng được hỗ trợ. Bỏ qua các giới hạn này dẫn đến tự động hóa không đáng tin cậy. Xác minh định dạng đầu ra phù hợp với kỳ vọng của bạn.
Sự chậm trễ khi Nạp tiền Crypto
Thanh toán bằng tiền điện tử có thể mất thời gian để xác nhận. Chúng tôi chấp nhận USDT (TRC20) và USDC (Base). Thanh toán từ $20 đến $500 được hỗ trợ. Tín dụng bonus áp dụng ở $50, $100 và $200. Sự chậm trễ xảy ra do tắc nghẽn blockchain. Kiểm tra mã giao dịch để biết trạng thái. Hệ thống của chúng tôi ghi có tài khoản của bạn sau khi xác nhận. Điều này thường mất vài phút. Trong thời gian lưu lượng cao, nó có thể mất lâu hơn. Sử dụng trình khám phá blockchain đáng tin cậy. Không gửi lại cùng một giao dịch. Điều này gây ra tín dụng trùng lặp hoặc lỗi. Lên kế hoạch nạp tiền trước để có dịch vụ không gián đoạn.
Hết hạn tín dụng dùng thử
Số dư dùng thử hết hạn sau 7 ngày. Tài khoản mới nhận $0.50. Điều này cho phép kiểm tra mà không cần cam kết. Tuy nhiên, khung thời gian ngắn hạn chế việc kiểm tra kỹ lưỡng. Hãy dùng bản dùng thử để xác minh khả năng tương thích. Kiểm tra URL cơ bản, ID mô hình và chế độ streaming. Nếu hoạt động, hãy nạp tiền bằng tiền điện tử. Số dư dùng thử không hoàn lại. Chúng lý tưởng cho việc xác minh nhanh. Đừng dựa vào chúng cho các dự án dài hạn. Thời hạn hết hạn rất nghiêm ngặt. Hãy lập kế hoạch kiểm tra phù hợp. Điều này đảm bảo bạn không lãng phí thời gian trong kỳ dùng thử.
