Tài liệu API & Bắt đầu nhanh

Base URL và Xác thực

Sử dụng URL cơ sở của chúng tôi và một khóa API duy nhất để kết nối. Endpoint chấp nhận các tiêu chuẩn tiêu đề. Thay thế YOUR_API_KEY với chuỗi từ bảng điều khiển của bạn.

• Base URL: https://api.ollamaopenaicompatibleapi.com/v1
• ID Mô hình: uncensored

Xác thực dựa trên token bearer. Truyền nó trong Authorization header. Điều này đảm bảo tương thích với bất kỳ máy khách tương thích SDK OpenAI nào. Bạn có thể tạo khóa mới ngay lập tức qua Google hoặc email. Không yêu cầu số điện thoại.

Endpoint Hoàn thành Trò chuyện

Gửi yêu cầu POST đến /v1/chat/completions. Bao gồm mảng messages và tên mô hình. API trả về văn bản đầu ra dựa trên prompt của bạn. Điều này hoạt động với bất kỳ nhà cung cấp nào sử dụng các tham số tiêu chuẩn.

Đặt nhiệt độ cho độ sáng tạo hoặc giữ nó ở mức thấp để đạt độ chính xác. Bạn cũng có thể xác định các chuỗi dừng. Máy chủ xử lý yêu cầu và trả về kết quả hoàn thành. Đây là tương tác cốt lõi cho hầu hết các tích hợp.

Hãy nhớ rằng lỗi không tiêu tốn tín dụng trả trước của bạn. Chỉ các bản hoàn thành thành công mới được tính phí. Điều này bảo vệ ngân sách của bạn trong các giai đoạn gỡ lỗi.

Copycurl https://api.ollamaopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List the top 10 Linux kernel security patches from 2023"}]
  }'

Phản hồi luồng qua SSE

Bật phát trực tiếp bằng cách đặt stream: true. Máy chủ gửi các phần khi chúng được tạo. Điều này giảm đáng kể độ trễ cảm nhận được. Bạn nhận được các phản hồi một phần theo thời gian thực.

Phân tích luồng Server-Sent Events. Chunk cuối cùng chứa thống kê sử dụng. Điều này bao gồm đếm token cho cả đầu vào và đầu ra. Bạn có thể theo dõi chi phí động trong quá trình tạo.

Cách tiếp cận này hoạt động tốt cho các giao diện trò chuyện. Người dùng thấy văn bản xuất hiện từng từ một. Nó cảm thấy phản hồi nhanh hơn so với việc chờ đợi phản hồi đầy đủ. API xử lý ổn định kết nối một cách tự động.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Function Calling và chế độ JSON

Định nghĩa các công cụ trong thân yêu cầu. Mô hình có thể xuất dữ liệu có cấu trúc. Sử dụng response_format với {"type": "json_object"} cho JSON nghiêm ngặt. Điều này đảm bảo đầu ra có thể phân tích cú pháp mọi lúc.

Tool definitions include name, description, and parameters. The model decides which tool to call. You execute the function and feed results back. This enables complex agent workflows.

Chế độ JSON vô hiệu hóa việc tạo văn bản tự do. Nó buộc mô hình tuân thủ lược đồ của bạn. Hãy sử dụng tính năng này khi tích hợp với cơ sở dữ liệu hoặc API. Nó giảm thiểu sự ảo giác trong các trường dữ liệu có cấu trúc.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Giới hạn tốc độ và Thân yêu cầu

Bạn được phép 300 yêu cầu mỗi phút cho mỗi khóa. Độ đồng thời bị giới hạn ở 8 yêu cầu đồng thời. Kích thước thân yêu cầu tối đa là 8 MB. Điều này phù hợp với hầu hết các ứng dụng tập trung vào văn bản.

Cửa sổ ngữ cảnh cho phép tổng cộng 100.000 token. Điều này bao gồm cả prompt và phần hoàn thành. Đầu ra tối đa mỗi yêu cầu là 16.000 token. Nếu bạn bỏ qua max_tokens, nó mặc định là 2.048.

Xử lý lỗi HTTP 429 một cách duyên dáng. Chúng cho biết bạn đã chạm giới hạn tốc độ. Triển khai backoff theo cấp số nhân trong mã máy khách của bạn. Điều này ngăn làm quá tải máy chủ trong các đợt tăng đột biến.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Lỗi Xác thực và Giới hạn

Mã trạng thái 401 có nghĩa là khóa API của bạn không hợp lệ. Hãy kiểm tra lỗi chính tả hoặc phiên đã hết hạn. Mã trạng thái 402 cho biết số dư không đủ. Hãy nạp tiền bằng tiền mã hóa để tiếp tục sử dụng dịch vụ.

Mã trạng thái 429 báo hiệu việc giới hạn tốc độ. Bạn đã vượt quá 300 yêu cầu mỗi phút. Hãy giảm thông lượng hoặc nâng cấp khóa của bạn. API trả về các thông báo lỗi rõ ràng.

Tín dụng không bao giờ hết hạn. Bạn có thể nạp bất cứ lúc nào. Nạp tối thiểu là $20. Tín dụng thưởng áp dụng cho các khoản lớn hơn. Điều này giúp dự án của bạn hoạt động trơn tru.