Ollama openai compatible api: Rajoittamaton vaihtoehto

Mikä on ollama OpenAI-yhteensopiva API? (Käyttötapaukset)

Se on vakio päätepiste, jonka avulla voit vaihtaa paikallisen päättelymoottorin isännöityihin, suodattamattomiin malleihin ilman asiakaskoodin uudelleenkirjoittamista.

• Paikallinen välityspalvelun korvaus

  Reititä pyynnöt palvelimillemme pitäen olemassa oleva OpenAI SDK -logiikka ehjänä.

• Epäsuodattamaton päättely

  Pääsy "uncensored"-malliin ilman sisältösuodattimia, jotka estävät laillisen aikuisikäisen tai kiistanalaisten aiheiden käsittelyn.

• Kustannustehokkuus

  Maksa käytettyjen tokenien mukaan esimaksukryptolla, välttäen kalliit kuukausimaksut.

Kehittäjän tarkistuslista sensuroimattoman tarjoajan valitsemiseen

Varmista, että päätepiste hyväksyy tiukasti standardit OpenAI-parametrit ilman mukautettuja kääreitä.

• Tokenien kirjanpito: Vahvista, että laskutus kattaa sekä syöte- että tulostokenit tarkasti.
• Palautuspolitiikka: Varmista, että virheet ja hylkäykset eivät aiheuta kuluja.
• Yksityisyys: Tarkista, että syötteet pysyvät käyttämättöminä mallin koulutuksessa.
• Skaalaa: Varmista, että järjestelmä käsittelee samanaikaisia pyyntöjä ilman jonotusviiveitä.
• Joustavuus: Varmista, että voit vaihtaa malleja muuttamatta asiakasohjelmiston koodia.

Nämä tarkistukset estävät piilotetut kustannukset ja integraatiovaikeudet.

Aidot kustannusesimerkit: Tokenien matematiikka ja hinnoittelu

Epärajattu LLM-mallimme maksaa $0,15 miljoonaa syöte-tokenia kohden ja $0,50 miljoonaa tulostustokenia kohden, mikä takaa läpinäkyvän hinnoittelun jokaiselle pyynnölle. Vakiopromptissa, jossa on 1 000 tokenia ja joka tuottaa 2 000 tokenia, maksat täsmälleen $0,00115. Virheet ovat maksuttomia. Tämä esimaksullinen malli poistaa kuukausisopimukset, jolloin voit ladata kryptolla ja skaalata käyttöä tarkasti tarpeen mukaan ilman piilomaksuja.

5 merkkiä siitä, että käytät suodatettua API:a todellisen uncensored-mallin sijaan

API:namme palauttaa sisällön oletuksena, kun monet vaihtoehdot piilottavat hylkäykset vastaus JSON:n sisällä.

Migröinti toiselta OpenAI-yhteensopivalta tarjoajalta

Epäsuodatetun LLM:n käyttöönottaminen vaatii base URL:n ja API-avaimen päivittämistä. Tämä plug-and-corvaus toimii standardien OpenAI-SDK:iden kanssa. Ensiksi, luo avain Google-tilin tai sähköpostin kautta Get API Key -sivulta. Toiseksi, osoita asiakasosoitteeseen HTTPS://api.ollamaopenaicompatibleapi.com/v1. Kolmanneksi, aseta mallitunnisteeksi "uncensored". Varmista streamauksen ja työkalujen käyttö näillä koodinpätkillä:

• Copyfrom openai import OpenAI
  
  client = OpenAI(base_url="https://api.ollamaopenaicompatibleapi.com/v1", api_key="YOUR_KEY")
  
  resp = client.chat.completions.create(
      model="uncensored",
      messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
  )
  print(resp.choices[0].message.content)

• Copyimport OpenAI from "openai";
  
  const client = new OpenAI({ baseURL: "https://api.ollamaopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });
  
  const resp = await client.chat.completions.create({
    model: "uncensored",
    messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
  });
  console.log(resp.choices[0].message.content);

Yleiset virheet uncensored-LLM:n niche-markkinalla

Kehittäjät usein olettavat, että kaikki OpenAI-yhteensopivat päätepisteet käyttäytyvät identtisesti. Tämä on virhe. Monet tarjoajat piilottavat tiukat sisältösuodattimet vakio-HTTP 200-vastauksien taakse, palauttaen suodatettua tekstiä kieltämisen sijaan. Toiset sekoittavat paikalliset Ollama-instanssit isännöityihin APIhin, mikä johtaa viiveyllätyksiin. Sinun on varmistettava, että mallin ID vastaa odotuksiasi. Meidän uncensored-mallimme käyttää ID:tä "uncensored" ja se palvelee omistetun API:n kautta. Testaa aina streamauskäyttäytyminen ja tokenirajat ennen skaalausta. Tarkista, tarjoaako toimittaja laskutusta virheistä vai vain todellisista tokenkäytöistä.