API kompatybilne z OpenAI Ollama: Alternatywa bez cenzury

Czym jest API kompatybilne z OpenAI w ollama? (Przypadki użycia)

Jest to ustandaryzowany punkt końcowy, który pozwala na wymianę lokalnych silników wnioskowania na hostowane modele uncensored bez przepisania kodu klienta.

• Zastąpienie Lokalnego Proxy

  Przekieruj żądania do naszych serwerów, zachowując istniejącą logikę SDK OpenAI.

• Nieskrępowane wnioskowanie

  Skorzystaj z modelu "uncensored" bez filtrów treści blokujących prawne tematy dorosłe lub kontrowersyjne.

• Efektywność kosztowa

  Płacisz tylko za zużyte tokeny z kredytami prepay kryptowalutowymi, unikając drogich miesięcznych subskrypcji.

Lista kontrolna dewelopera przy wyborze dostawcy bez cenzury

Upewnij się, że endpoint ściśle akceptuje standardowe parametry OpenAI bez dodatkowych warstw.

• Księgowość tokenów: Potwierdź, że rozliczenie obejmuje zarówno tokeny wejściowe, jak i wyjściowe w sposób dokładny.
• Polityka zwrotu: Zapewnij, że błędy i odrzucenia nie generują opłat.
• Prywatność: Sprawdź, czy prompty nie są używane do trenowania modeli.
• Skaluj: Sprawdź, czy system obsługuje żądania współbieżne bez opóźnień w kolejce.
• Elastyczność: Upewnij się, że możesz przełączać modele bez zmiany kodu klienta.

Te sprawdzenia zapobiegają ukrytym kosztom i problemom z integracją.

Rzeczywiste przykłady kosztów: arytmetyka tokenów i ceny

Nasz uncensored LLM pobiera opłatę $0.15 za milion tokenów wejściowych i $0.50 za milion tokenów wyjściowych, zapewniając przejrzyste ceny dla każdego zapytania. Dla standardowego promptu o 1000 tokenów generującego 2000 tokenów płacisz dokładnie $0.00115. Błędy nie generują kosztów. Ten model z góry opłaconym eliminuje subskrypcje miesięczne, pozwalając doładować się kryptowalutą i skalować użycie dokładnie według potrzeb, bez ukrytych opłat.

5 oznak, że używasz API z filtrowaniem zamiast prawdziwego modelu bez cenzury

Nasze API zwraca treść domyślnie, podczas gdy wiele alternatyw ukrywa odmowy wewnątrz odpowiedzi JSON.

Migracja z innego dostawcy kompatybilnego z OpenAI

Przejście na nasz niecenzurowany LLM wymaga aktualizacji bazowego adresu URL i klucza API. To rozwiązanie typu drop-in działa ze standardowymi SDK OpenAI. Po pierwsze, wygeneruj klucz poprzez Google lub e-mail na stronie Pobierz klucz API. Po drugie, skieruj klienta na HTTPS://api.ollamaopenaicompatibleapi.com/v1. Po trzecie, ustaw identyfikator modelu na "uncensored". Zweryfikuj strumieniowanie i użycie narzędzi za pomocą tych fragmentów kodu:

• Copyfrom openai import OpenAI
  
  client = OpenAI(base_url="https://api.ollamaopenaicompatibleapi.com/v1", api_key="YOUR_KEY")
  
  resp = client.chat.completions.create(
      model="uncensored",
      messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
  )
  print(resp.choices[0].message.content)

• Copyimport OpenAI from "openai";
  
  const client = new OpenAI({ baseURL: "https://api.ollamaopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });
  
  const resp = await client.chat.completions.create({
    model: "uncensored",
    messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
  });
  console.log(resp.choices[0].message.content);

Typowe błędy w niszy nieograniczonego LLM

Deweloperzy często zakładają, że wszystkie endpointy kompatybilne z OpenAI zachowują się identycznie. To nieprawda. Wielu dostawców ukrywa ścisłe filtry treści za standardowymi odpowiedziami HTTP 200, zwracając przefiltrowany tekst zamiast odmowy. Inni mylą lokalne instancje Ollama z API w chmurze, co prowadzi do niespodzianek z opóźnieniami. Musisz zweryfikować, czy ID modelu odpowiada Twoim oczekiwaniom. Nasz model uncensored używa ID "uncensored" i jest obsługiwany przez dedykowane API. Zawsze przetestuj zachowanie streamowania i limity tokenów przed skalowaniem. Sprawdź, czy dostawca rozlicza błędy, czy tylko rzeczywiste użycie tokenów.