Ollama openai uyumlu api: Sansürsüz Alternatif

Bir ollama OpenAI uyumlu API nedir? (Kullanım Alanları)

Yerel çıkarım motorlarını barındırılan, filtresiz modellerle değiştirmenizi sağlayan standart bir uç noktadır; istemci kodunuzu yeniden yazmanıza gerek kalmaz.

• Yerel Proxy Değişimi

  Mevcut OpenAI SDK mantığınızı koruyarak istekleri sunucularımıza yönlendirin.

• Filtresiz Çıkarım

  "uncensored" modeline, yasal yetişkin veya tartışmalı konuları engelleyen içerik filtreleri olmadan erişin.

• Maliyet Verimliliği

  Kullanılan token'lar için ödeme yapın; ön ödemeli kripto ile, pahalı aylık aboneliklerden kaçının.

Uncensored Sağlayıcı Seçmek İçin Geliştirici's Kontrol Listesi

Uç noktanın özel sarmalayıcılar olmadan standart OpenAI parametrelerini kesinlikle kabul ettiğini doğrulayın.

• Token Muhasebesi: Faturalandırmanın hem girdi hem de çıktı tokenlarını doğru şekilde kapsadığını onayla.
• İade Politikası: Hatalar ve reddedilen istekler sıfır ücret getirir.
• Gizlilik: İstemlerin (prompts) modellerin eğitimi için kullanılmadığını kontrol edin.
• Ölçeklendirme: Sistemin kuyruk gecikmeleri olmadan eşzamanlı istekleri işlediğini doğrulayın.
• Esneklik: İstemci kodunu değiştirmeden modeller arasında geçiş yapabildiğinizden emin olun.

Bu kontroller gizli maliyetleri ve entegrasyon sorunlarını önler.

Gerçek Maliyet Örnekleri: Token Hesabı & Fiyatlandırma

Kontrolsüz LLM'imiz, 1 milyon giriş tokeni başına $0.15 ve 1 milyon çıkış tokeni başına $0.50 ücretlendirir, böylece her istek için şeffaf fiyatlandırma sağlar. 1.000 tokenlik bir istem ve 2.000 tokenlik bir yanıt için tam olarak $0.00115 ödersiniz. Hatalar sıfır maliyetle sonuçlanır. Bu ön ödemeli model aylık abonelikleri ortadan kaldırır, kripto ile yüklemenize ve gizli ücretler olmadan ihtiyacınız olduğunda kullanımı hassas bir şekilde ölçeklendirmenize olanak tanır.

Gerçek Bir Filtresiz Model Yerine Filtreli Bir API Kullandığınızı Gösteren 5 Belirti

API'miz varsayılan olarak içeriği döndürür; birçok alternatif ise reddetmeleri yanıt JSON'u içinde gizler.

Başka bir OpenAI-Uyumlu Sağlayıcıdan Geçiş

Kendi uncensored LLM'mize geçiş yapmak base URL ve API anahtarınızı güncellemeyi gerektirir. Bu tak-çalıştır (drop-in) çözüm, standart OpenAI SDK'ları ile çalışır. İlk olarak, Get API Key sayfasında Google veya e-posta ile anahtarınızı oluşturun. İkinci olarak, istemcinizi HTTPS://api.ollamaopenaicompatibleapi.com/v1 adresine yönlendirin. Üçüncü olarak, model ID'sini "uncensored" olarak ayarlayın. Bu kod parçacıklarıyla streaming ve araç kullanımını doğrulayın:

• Copyfrom openai import OpenAI
  
  client = OpenAI(base_url="https://api.ollamaopenaicompatibleapi.com/v1", api_key="YOUR_KEY")
  
  resp = client.chat.completions.create(
      model="uncensored",
      messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
  )
  print(resp.choices[0].message.content)

• Copyimport OpenAI from "openai";
  
  const client = new OpenAI({ baseURL: "https://api.ollamaopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });
  
  const resp = await client.chat.completions.create({
    model: "uncensored",
    messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
  });
  console.log(resp.choices[0].message.content);

Sırlı LLM Nişinde Yaygın Hatalar

Geliştiriciler genellikle tüm OpenAI-uyumlu uç noktaların aynı şekilde davrandığını varsayar. Bu yanlıştır. Sağlayıcıların çoğu, standart HTTP 200 yanıtlarının arkasına sıkı içerik filtrelerini gizler ve reddetmek yerine filtrelenmiş metni döndürür. Diğerleri yerel Ollama ögelerini barındırılan API'lerle karıştırır, bu da gecikme sürprizlerine yol açar. Model kimliğinin beklentilerinizle eşleştiğini doğrulamalısınız. Uncensored modelimiz "uncensored" kimliğini kullanır ve özel bir API üzerinden hizmet verir. Ölçeklendirmeden önce akış davranışını ve token limitlerini her zaman test edin. Sağlayıcının hatalar için mi yoksa yalnızca gerçek token kullanımı için mi fatura kestiğini kontrol edin.