API-dokumentaatio & Quickstart

Perus-URL ja todennus

Käytä base_urliamme ja yhtä API-avainta yhdistääksesi. Päätepiste hyväksyy standardit otsakkeet. Korvaa YOUR_API_KEY hallintapaneelissa olevalla merkkijonolla.

• Base URL: https://api.ollamaopenaicompatibleapi.com/v1
• Mallin tunnus: uncensored

Todennus perustuu Bearer-tokeniin. Lähetä se Authorization header. Tämä varmistaa yhteensopivuuden minkä tahansa OpenAI SDK -asiakasohjelmiston kanssa. Voit luoda uuden avaimen välittömästi Google- tai sähköpostitilin kautta. Puhelinnumeroa ei tarvita.

Chat Completions Endpoint

Lähetä POST-pyyntö osoitteeseen /v1/chat/completions. Sisällytä viestit-taulukkosi ja mallin nimi. API palauttaa tekstimuotoisen vastauksen syötteen perusteella. Tämä toimii minkä tahansa standardiparametreja käyttävän tarjoajan kanssa.

Aseta lämpötila luovuutta varten tai pidä se matalana tarkkuuden vuoksi. Voit myös määrittää stop-sekvenssit. Palvelin käsittelee pyynnön ja palauttaa vastauksen. Tämä on useimpien integraatioiden ydinvuorovaikutus.

Muista, että virheet eivät kuluta esimaksuluottokrediittiä. Vain onnistuneet täydennykset laskutetaan. Tämä suojaa budjettiasi vianetsintävaiheen aikana.

Copycurl https://api.ollamaopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List the top 10 Linux kernel security patches from 2023"}]
  }'

Streamausvastaukset SSE:n kautta

Ota streamaus käyttöön asettamalla stream: true. Palvelin lähettää lohkoja niiden luomisen aikana. Tämä vähentää havaittua viivettä merkittävästi. Saat osittaisia vastauksia reaaliajassa.

Jäsennä Server-Sent Events -virta. Lopullinen palikka sisältää käyttötilastot. Se sisältää token-laskurit sekä syötteelle että tulosteelle. Voit seurata kustannuksia dynaamisesti generoinnin aikana.

Tämä lähestymistapa toimii hyvin keskustelukäyttöliittymille. Käyttäjät näkevät tekstin ilmestyvän sana kerrallaan. Se tuntuu reaktiivisemmalta kuin odottaa koko vastausta. API hoitaa yhteyden vakauden automaattisesti.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Funktikutsut ja JSON-tila

Määritä työkalut pyyntörunkoasi varten. Malli voi tuottaa rakenteellista dataa. Käytä response_format kanssa {"type": "json_object"} tiukalle JSON:lle. Tämä varmistaa jäsennettävän tuloksen joka kerta.

Työkalumääritelmät sisältävät nimen, kuvauksen ja parametrit. Malli päättää, kumpaa työkalua kutsutaan. Suoritat funktion ja syötät tulokset takaisin. Tämä mahdollistaa monimutkaisten agenttityövuorojen luomisen.

JSON-tila poistaa vapaan tekstin tuotannon. Se pakottaa mallin noudattamaan skeemaasi. Käytä tätä integroitessa tietokantoihin tai APIhin. Se vähentää hallusinaatioita rakenteisissa kentissä.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Nopeusrajoitukset ja pyyntörungot

Saat 300 pyyntöä minuutissa per avain. Samanaikaisuus on rajoitettu 8 samanaikaiseen pyyntöön. Pyyntörungon maksimikoko on 8 Mt. Tämä sopii useimpiin tekstipainotteisiin sovelluksiin.

Kontekstiuikkuna sallii yhteensä 100 000 tokenia. Tämä sisältää sekä syötteen että täydennyksen. Maksimilähtö pyyntöä kohti on 16 000 tokenia. Jos jätät max_tokens, se oletusarvoisesti 2 048.

Käsittele HTTP 429-virheet sujuvasti. Ne tarkoittavat, että olet ylittänyt nopeusrajoituksen. Toteuta eksponentiaalinen viiveen kasvatus asiakaskoodissasi. Tämä estää palvelimen kuormittamisen huippujen aikana.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Todennusvirheet ja rajoitukset

Tilan 401 merkinta tarkoittaa, että avain on virheellinen. Tarkista kirjoitusvirheet tai vanhentuneet istunnot. Tila 402 kertoo riittämättömästä saldonista. Lisää saldoa kryptolla jatkaaksesi palvelun käyttöä.

Tila 429 kertoo nopeusrajoituksesta. Ylityit 300 pyyntöä minuutissa. Vähennä kuormitusta tai päivitä avaintasi. API palauttaa selkeät virheilmoitukset.

Luotto ei vanhene. Voit lisätä rahaa milloin tahansa. Vähimmäislisäys on $20. Bonusalustat koskevat suurempia summia. Tämä pitää projektisi sujuvana.