Tài liệu API
Tương thích Nhúng cho ngăn xếp hiện có của bạn. Thay đổi URL cơ sở và khóa, giữ mã.
Bắt đầu nhanh: Thay đổi base_url
Bắt đầu bằng cách cập nhật hai biến. Trỏ máy khách của bạn đến https://api.proxyllm.cc/v1 và sử dụng khóa đã tạo của bạn. Điểm cuối mô phỏng chính xác cấu trúc hoàn thành trò chuyện OpenAI. Bạn không cần thư viện mới hoặc bộ chuyển đổi phức tạp. Chỉ cần thay đổi điểm cuối và mã thông báo, sau đó chạy logic hiện có của bạn.
curl https://api.proxyllm.cc/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List five common CSS layout techniques for modern web design."}]
}'
Xác thực và Keys
Tạo một khóa qua bảng điều khiển và truyền nó trong Authorization header. Mỗi tài khoản giữ một khóa hoạt động; tạo khóa mới sẽ thu hồi khóa cũ. Sử dụng Bearer your_api_key cho các yêu cầu tiêu chuẩn. Hệ thống từ chối các token không hợp lệ ngay lập tức.
Endpoint Hoàn thành Trò chuyện
Gửi các yêu cầu POST đến /v1/chat/completions với một mảng messages. ID mô hình là uncensored. Nó xử lý tạo văn bản mà không có các từ chối tiêu chuẩn cho nội dung người lớn hợp pháp. Đặt max_tokens để kiểm soát độ dài đầu ra; giá trị mặc định là 2,048 token.
from openai import OpenAI
client = OpenAI(base_url="https://api.proxyllm.cc/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
Streaming và SSE
Bật phát trực tiếp bằng cách đặt stream: true trong phần tải trọng yêu cầu. API trả về Server-Sent Events (SSE) để phân phối token theo thời gian thực. Thống kê sử dụng token xuất hiện trong chunk cuối cùng của luồng. Điều này giúp giảm độ trễ cảm nhận đối với các phản hồi lớn.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.proxyllm.cc/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
Function Calling và chế độ JSON
Định nghĩa các công cụ trong tools tham số cho đầu ra có cấu trúc. Mô hình hỗ trợ cả gọi hàm và định dạng JSON nghiêm ngặt thông qua response_format. Sử dụng json_object để buộc các cấu trúc JSON hợp lệ. Các tham số nhiệt độ và top_p cho phép tinh chỉnh độ sáng tạo.
Giới hạn tốc độ và Lỗi
Dự kiến 401 cho các key không hợp lệ và 402 khi tín dụng hết. Giới hạn là 300 yêu cầu mỗi phút mỗi key. Yêu cầu đồng thời tối đa là tám. Cửa sổ ngữ cảnh bao gồm 100.000 token tổng cộng. Xử lý lỗi 429 bằng cách triển khai backoff theo cấp số nhân trong logic client của bạn.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Các câu hỏi thường gặp
Kích thước cửa sổ ngữ cảnh cho proxy LLM này là bao nhiêu?
Tổng cửa sổ ngữ cảnh là 100,000 token, kết hợp cả prompt và phần hoàn thành. Bạn có thể yêu cầu tối đa 16,000 token đầu ra mỗi lần gọi. Nếu bạn bỏ qua tham số max_tokens, hệ thống sẽ mặc định là 2,048 token.
API có hỗ trợ gọi hàm không?
Đúng, mô hình hỗ trợ sử dụng công cụ và gọi hàm. Bạn cũng có thể buộc đầu ra JSON nghiêm ngặt bằng cách sử dụng tham số response_format. Điều này đảm bảo dữ liệu có cấu trúc cho tích hợp lập trình.
Làm thế nào để xử lý các phản hồi phát trực tuyến?
Đặt tham số stream thành true trong thân yêu cầu của bạn. API trả về Server-Sent Events (SSE) chứa các chunk văn bản một phần. Chi tiết sử dụng token xuất hiện trong chunk cuối cùng của luồng.
Khóa API của bạn chỉ còn một biểu mẫu nữa
Đăng ký, lấy khóa của bạn và cập nhật URL cơ sở của điểm cuối. Tích hợp đơn giản.