Ollama OpenAI 호환 API: Uncensored 대안

ollama OpenAI 호환 API란 무엇인가요? (사용 사례)

로컬 추론 엔진을 호스팅된 uncensored 모델로 교체할 수 있는 표준 엔드포인트로, 클라이언트 코드를 다시 작성할 필요가 없습니다.

• 로컬 프록시 대체

  기존 OpenAI SDK 로직을 유지하면서 요청을 우리 서버로 라우팅하세요.

• Uncensored 추론

  합법적인 성인 또는 논쟁적인 주제를 차단하는 콘텐츠 필터 없이 "uncensored" 모델에 액세스하세요.

• 비용 효율성

  비싼 월 구독료 없이 선불 크립토로 사용한 토큰만큼만 지불하세요.

무검열 제공업체 선택을 위한 개발자's 체크리스트

엔드포인트가 사용자 정의 래퍼 없이 표준 OpenAI 매개변수를 엄격히 수락하는지 확인하십시오.

• 토큰 회계: billings가 입력 및 출력 토큰을 정확하게 모두 포함함을 확인합니다.
• 환불 정책: 에러와 거절에 제로 요금이 부과되도록 보장하세요.
• 개인정보: 프롬프트가 모델 학습에 사용되지 않는지 확인하세요.
• 확장: 시스템이 대기 지연 없이 동시 요청을 처리하는지 확인하세요.
• Flexibility: 클라이언트 코드를 변경하지 않고 모델을 전환할 수 있는지 확인하세요.

이러한 확인은 숨겨진 비용과 통합 문제를 방지합니다.

실제 비용 예시: 토큰 산식 & 가격 책정

당사의 무검열 LLM은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50의 요금이 부과되어 모든 요청에 대해 투명한 요금제를 제공합니다. 표준 1,000토큰 프롬프트에서 2,000개의 토큰을 생성할 경우 정확히 $0.00115가 청구됩니다. 오류는 비용이 발생하지 않습니다. 이 선불 모델은 월간 구독을 제거하여 암호화폐로 충전하고 숨겨진 요금 없이 필요에 따라 사용량을 정확하게 확장할 수 있게 합니다.

진정한 비제거 모델이 아닌 필터링된 API를 사용하고 있음을 나타내는 5가지 신호

당사의 API는 기본적으로 콘텐츠를 반환하며, 많은 대안 서비스는 거부 응답을 응답 JSON 내부에 숨깁니다.

다른 OpenAI 호환 제공자에서 마이그레이션

uncensored LLM으로 전환하려면 base URL과 API 키를 업데이트해야 합니다. 이 드롭인 대체품은 표준 OpenAI SDK와 함께 작동합니다. 먼저 Get API Key 페이지에서 Google 또는 이메일을 통해 키를 생성하세요. 둘째, 클라이언트를 HTTPS://api.ollamaopenaicompatibleapi.com/v1로 가리키세요. 셋째, 모델 ID를 "uncensored"로 설정하세요. 다음 코드 스니펫을 사용하여 스트리밍 및 도구 사용 여부를 확인하세요:

• Copyfrom openai import OpenAI
  
  client = OpenAI(base_url="https://api.ollamaopenaicompatibleapi.com/v1", api_key="YOUR_KEY")
  
  resp = client.chat.completions.create(
      model="uncensored",
      messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
  )
  print(resp.choices[0].message.content)

• Copyimport OpenAI from "openai";
  
  const client = new OpenAI({ baseURL: "https://api.ollamaopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });
  
  const resp = await client.chat.completions.create({
    model: "uncensored",
    messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
  });
  console.log(resp.choices[0].message.content);

Uncensored LLM 틈새 시장의 일반적인 실수

개발자들은 종종 모든 OpenAI 호환 엔드포인트가 동일하게 동작한다고 가정합니다. 이는 거짓입니다. 많은 제공업체는 표준 HTTP 200 응답 뒤에 엄격한 콘텐츠 필터를 숨기고, 거부 대신 필터링된 텍스트를 반환합니다. 다른 제공업체들은 로컬 Ollama 인스턴스와 호스팅 API를 혼동하여 지연 시간의 놀라움을 초래합니다. 모델 ID가 기대와 일치하는지 확인해야 합니다. 저희의 uncensored 모델은 "uncensored" ID를 사용하며 전용 API를 통해 제공됩니다. 확장하기 전에 스트리밍 동작과 토큰 제한을 항상 테스트하십시오. 제공업체가 오류에 대해 청구하는지 아니면 실제 토큰 사용량에만 청구하는지 확인하십시오.