เอกสาร API
ความเข้ากันได้แบบง่ายสำหรับสแต็กที่มีอยู่ของคุณ เปลี่ยน URL พื้นฐานและคีย์ รักษาโค้ด
เริ่มต้น: เปลี่ยน base_url
เริ่มต้นด้วยการอัปเดตตัวแปรสองตัว ชี้ไคลเอนต์ของคุณไปที่ https://api.proxyllm.cc/v1 และใช้คีย์ที่คุณสร้าง จุดปลายนี้เลียนแบบโครงสร้างการเสร็จสิ้นการสนทนาของ OpenAI อย่างแม่นยำ คุณไม่จำเป็นต้องใช้ไลบรารีใหม่หรือตัวปรับแต่งที่ซับซ้อน เพียงเปลี่ยนจุดปลายและโทเคน จากนั้นรันตรรกะที่มีอยู่ของคุณ
curl https://api.proxyllm.cc/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List five common CSS layout techniques for modern web design."}]
}'
Authentication and Keys
สร้างคีย์ผ่านแดชบอร์ดและส่งคีย์ใน Authorization header บัญชีแต่ละบัญชีมีคีย์ที่ใช้งานได้นี้หนึ่งคีย์ การสร้างคีย์ใหม่จะทำให้คีย์เก่าหมดอายุ ใช้ Bearer your_api_key สำหรับการขอข้อมูลมาตรฐาน ระบบจะปฏิเสธโทเค็นที่ไม่ถูกต้องทันที
จุดจบ API Chat Completions
ส่งคำขอ POST ไปยัง /v1/chat/completions พร้อมอาร์เรย์ข้อความ รหัสโมเดลคือ uncensored. มันจัดการการสร้างข้อความโดยไม่มีการปฏิเสธมาตรฐานสำหรับเนื้อหาผู้ใหญ่ที่ถูกต้องกฎหมาย ตั้ง max_tokens เพื่อควบคุมความยาวของผลลัพธ์; ค่าเริ่มต้นคือ 2,048 โทเค็น
from openai import OpenAI
client = OpenAI(base_url="https://api.proxyllm.cc/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
การสตรีมและ SSE
เปิดใช้งานการสตรีมโดยตั้งค่า stream: true ใน payload ของคำขอของคุณ API ส่งคืน Server-Sent Events (SSE) สำหรับการส่งโทเค็นแบบเรียลไทม์ สถิติการใช้โทเค็นจะปรากฏในท่อนสุดท้ายของสตรีม วิธีนี้ช่วยลดความล่าช้าที่ผู้ใช้รับรู้สำหรับคำตอบขนาดใหญ่
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.proxyllm.cc/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
Function Calling และโหมด JSON
กำหนดเครื่องมือใน tools พารามิเตอร์นี้สำหรับเอาต์พุตที่มีโครงสร้าง โมเดลรองรับทั้งการเรียกใช้ฟังก์ชันและการจัดรูปแบบ JSON ที่เข้มงวดผ่าน response_format. ใช้ json_object เพื่อบังคับให้โครงสร้าง JSON ที่ถูกต้อง พารามิเตอร์ Temperature และ top_p ช่วยปรับแต่งความสร้างสรรค์
อัตราจำกัดและข้อผิดพลาด
คาดหวัง 401 สำหรับ key ที่ไม่ถูกต้องและ 402 เมื่อเครดิตหมด ขีดจำกัดคือ 300 คำขอต่อนาทีต่อ key คำขอพร้อมกันสูงสุดแปดคำขอพร้อมกัน หน้าต่างบริบทครอบคลุม 100,000 tokens รวม จัดการข้อผิดพลาด 429 โดยการใช้ exponential backoff ในตรรกะไคลเอนต์ของคุณ
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)คำถามที่พบบ่อย
ขนาด context window ของ proxy LLM นี้คือเท่าไร?
หน้าต่างบริบทรวมคือ 100,000 tokens รวมทั้ง prompt และ completion คุณสามารถขอ output tokens ได้สูงสุด 16,000 tokens ต่อการเรียก หากละพารามิเตอร์ max_tokens ระบบจะตั้งค่าเริ่มต้นที่ 2,048 tokens
API รองรับการเรียกใช้ฟังก์ชันหรือไม่?
ใช่ โมเดลนี้รองรับการใช้เครื่องมือและ function calling นอกจากนี้คุณยังสามารถบังคับใช้ output JSON แบบเข้มงวดโดยใช้พารามิเตอร์ response_format สิ่งนี้ทำให้แน่ใจว่าข้อมูลมีโครงสร้างสำหรับการผสานรวมแบบโปรแกรมมิ่ง
ฉันจัดการกับการตอบกลับแบบสตรีมมิ่งได้อย่างไร?
ตั้งค่าพารามิเตอร์ stream เป็น true ใน body การร้องขอของคุณ API จะส่งคืน Server-Sent Events (SSE) ที่มี chunk ข้อความบางส่วน รายละเอียดการใช้งานโทเค็นจะปรากฏใน chunk สุดท้ายของสตรีม
คีย์ API ของคุณอยู่ห่างเพียงแบบฟอร์มเดียว
ลงทะเบียน รับคีย์ของคุณ และอัปเดต URL พื้นฐานของจุดปลาย การผสานรวมที่เรียบง่าย