Dokumentace API & Quickstart

Základní URL a ověření

Použijte naši základní URL a jeden API klíč pro připojení. Endpoint přijímá standardní hlavičky. Nahraďte YOUR_API_KEY pomocí řetězce z vašeho ovládacího panelu.

• Základní URL: https://api.ollamaopenaicompatibleapi.com/v1
• ID modelu: uncensored

Ověření spoléhá na Bearer token. Předložte jej v Authorization hlavička. To zajišťuje kompatibilitu s jakýmkoli klientem kompatibilním s SDK OpenAI. Můžete okamžitě vygenerovat nový klíč přes Google nebo e-mail. Není vyžadováno telefonní číslo.

Endpoint Chat Completions

Odeslat požadavek POST na /v1/chat/completions. Přidejte pole messages a název modelu. API vrací textový výstup na základě vašeho promptu. Funguje to s jakýmkoli poskytovatelem používajícím standardní parametry.

Nastavte teplotu pro kreativitu nebo ji ponechte nízkou pro přesnost. Můžete také definovat sekvence stop. Server zpracuje požadavek a vrátí dokončení. Toto je základní interakce pro většinu integrací.

Pamatujte, že chyby nespotřebovávají váš předplacený úvěr. Účtovány jsou pouze úspěšná dokončení. To chrání váš rozpočet během fází ladění.

Copycurl https://api.ollamaopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List the top 10 Linux kernel security patches from 2023"}]
  }'

Streamované odpovědi přes SSE

Povolte streamování nastavením stream: true. Server odesílá chunky, jak jsou generovány. To výrazně snižuje vnímanou latenci. Částečné odpovědi přijímáte v reálném čase.

Parsovejte stream Server-Sent Events. Konečná část obsahuje statistiky využití. Zahrnuje počty tokenů pro vstup i výstup. Náklady můžete sledovat dynamicky během generování.

Tento přístup dobře funguje pro chatová rozhraní. Uživatelé vidí text, jak se objevuje slovo po slově. Působí to responzivněji než čekání na celou odpověď. API automaticky řeší stabilitu spojení.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Volání funkcí a režim JSON

Definujte nástroje v těle žádosti. Model může výstupovat strukturovaná data. Použijte response_format s {"type": "json_object"} pro přísný formát JSON. To zajišťuje spolehlivě parsovatelný výstup při každém volání.

Definice nástrojů zahrnují název, popis a parametry. Model se rozhodne, který nástroj zavolat. Vy funkci provedete a výsledky předáte zpět. To umožňuje složité agentní workflow.

Režim JSON vypíná generování volného textu. Vynucuje dodržování vašeho schématu. Použijte jej při integraci s databázemi nebo API. Snižuje halucinace ve strukturovaných polích.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Limity rychlosti a těla požadavků

Získáte 300 požadavků za minutu na klíč. Paralelismus je omezen na 8 současných požadavků. Maximální velikost těla požadavku je 8 MB. To vyhovuje většině textově náročných aplikací.

Kontextové okno umožňuje celkem 100 000 tokenů. To zahrnuje jak prompt, tak dokončení. Maximální výstup na požadavek je 16 000 tokenů. Pokud vynecháte max_tokens, výchozí hodnota je 2 048.

Zvládněte chyby HTTP 429 plynule. Označují, že jste dosáhli limitu rychlosti. Implementujte exponenciální zpomalování ve svém kódu klienta. To zabraňuje přetížení serveru během špiček.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Chyby ověření a limity

Kód 401 znamená, že váš klíč je neplatný. Zkontrolujte překlepy nebo vypršená relace. Kód 402 signalizuje nedostatek kreditu. Dobijte jej přes kryptoměny pro obnovení služby.

Stav 429 signalizuje omezení rychlosti. Překročili jste 300 požadavků za minutu. Sníšte svůj průtok nebo si vylepšte klíč. API vrací jasné chybové zprávy.

Úvěr nevyprší. Můžete kdykoli doplnit prostředky. Minimální doplnění je $20. Bonusové kredity platí pro větší částky. To udržuje váš projekt v chodu.