Ollama openai compatible api: Az uncensored alternatíva

Mi az az ollama OpenAI-kompatibilis API? (Felhasználási esetek)

Ez egy szabványos végpont, amely lehetővé teszi helyi inferencia motorok cseréjét hosztolt, uncensored modellekre ügyféloldali kód átírása nélkül.

• Helyi proxy helyettesítés

  Irányítsd a kéréseket a szervereinkhez, miközben megőrzed a meglévő OpenAI SDK logikát.

• Uncensored Inference

  Hozzáférés az "uncensored" modellhez tartalomszűrők nélkül a jogszerű felnőtt vagy vitatott témákhoz.

• Költséghatékonyság

  Csak a felhasznált tokenek után fizessen előre fizetett kriptóval, elkerülve a drága havi előfizetéseket.

A fejlesztő's ellenőrzőlistája uncensored szolgáltató választásához

Ellenőrizze, hogy a végpont szigorúan elfogadja a szabványos OpenAI paramétereket egyedi burkolók nélkül.

• Token számlázás: Megerősítés: A számlázás pontosan lefedi a bemeneti és kimeneti tokeneket.
• Visszatérítési szabályzat: Biztosítsa, hogy a hibák és a visszautasítások nulla költséggel járjanak.
• Adatvédelem: Ellenőrizze, hogy a promptok nem kerülnek felhasználásra a modellek betanítására.
• Skálázás: Ellenőrizze, hogy a rendszer kezeli a párhuzamos kérelmeket sorozási késedelem nélkül.
• Rugalmasság: Győződjön meg róla, hogy modelleket válthat ügyfélkód módosítása nélkül.

Ezek a ellenőrzések megakadályozzák a rejtett költségeket és az integrációs fejfájást.

Valódi költség példák: tokenmatematika és 'árazás

Az uncensored LLM-ünk $0,15-öt számít fel millió bemeneti tokenenként és $0,50-t millió kimeneti tokenenként, biztosítva az átlátható árazást minden kéréshez. Egy szabványos 1000 tokenes prompt esetén, amely 2000 token generál, pontosan $0,00115-öt fizet. A hibák költsége nulla. Ez az előfizetés nélküli modell megszünteti a havi előfizetéseket, lehetővé téve a kriptovalutával történő feltöltést és a használat pontos skálázását rejtett díjak nélkül.

5 jel, amely azt mutatja, hogy szűrt API-t használ, nem pedig valódi uncensored modellt

Az API-ünk alapértelmezetten tartalmat ad vissza, míg sok alternatíva elrejti az elutasításokat a válasz JSON-ban.

Migrálás egy másik OpenAI-kompatibilis szolgáltatótól

Az uncensored LLM-re való váltás a base URL és az API-kulcs frissítését igényli. Ez a drop-in helyettesítő működik a szabványos OpenAI SDK-kkal. Először, generáljon kulcsot Google-fiókkal vagy e-maillel a Get API Key oldalon. Másodszor, irányítsa az ügyfélt a HTTPS://api.ollamaopenaicompatibleapi.com/v1 címre. Harmadszor, állítsa be a modellazonosítót "uncensored"-re. Ellenőrizze a streamelést és az eszközhasználatot az alábbi kódokkal:

• Copyfrom openai import OpenAI
  
  client = OpenAI(base_url="https://api.ollamaopenaicompatibleapi.com/v1", api_key="YOUR_KEY")
  
  resp = client.chat.completions.create(
      model="uncensored",
      messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
  )
  print(resp.choices[0].message.content)

• Copyimport OpenAI from "openai";
  
  const client = new OpenAI({ baseURL: "https://api.ollamaopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });
  
  const resp = await client.chat.completions.create({
    model: "uncensored",
    messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
  });
  console.log(resp.choices[0].message.content);

Gyakori hibák az uncensored LLM szegmensben

A fejlesztők gyakran feltételezik, hogy minden OpenAI-kompatibilis végpont azonosan viselkedik. Ez hamis. Szolgáltatók sokasága rejt szigorú tartalom-szűrőket a szabványos HTTP 200 válaszok mögé, szűrt szöveget visszaadva a megtagadás helyett. Mások összekeverik a helyi Ollama példányokat a hosztolt API-kkal, ami késleltetési meglepetésekhez vezet. Ellenőriznie kell, hogy a modell ID egyezik-e az elvárásaival. Az uncensored modellünk az "uncensored" ID-t használja, és dedikált API-n keresztül szolgálja ki. Mindig tesztelje a streamelést és a token korlátokat skálázás előtt. Ellenőrizze, hogy a szolgáltató hibákért is számít-e fel, vagy csak a tényleges token használatért.