inference.eu

Anleitungen · Migrate from OpenAI

Von OpenAI zur inference.eu API wechseln: ein praktischer Leitfaden

Wenn Ihre Anwendung bereits die OpenAI API nutzt, ist der Wechsel zu Open-Weight-Modellen in europäischen Rechenzentren vor allem eine Konfigurationsfrage. Dieser Leitfaden zeigt die drei Zeilen, die Sie ändern, wie Sie Ersatzmodelle auswählen, welche Funktionen Sie vor dem Umstellen testen sollten und wie Sie die Änderung ohne Überraschungen ausrollen.

Vertrieb kontaktierenBeispielanfrage
  1. 01API-Format: OpenAI
  2. 02Rechenzentren in der EU
  3. 03Durch einen AV-Vertrag abgedeckt
app.py
import os
from openai import OpenAI

# Before: client = OpenAI()  # api.openai.com, OPENAI_API_KEY
client = OpenAI(
    base_url="https://api.inference.eu/v1",
    api_key=os.environ["INFERENCE_EU_API_KEY"],
)

reply = client.chat.completions.create(
    model="gpt-oss-120b",  # was "gpt-4o"
    messages=[{"role": "user", "content": "Draft a polite reminder for an unpaid invoice."}],
)
print(reply.choices[0].message.content)

Die drei Änderungen

Richten Sie den Client auf die Basis-URL von inference.eu, verwenden Sie Ihren inference.eu-Schlüssel und ändern Sie den Modellnamen. In den OpenAI-SDKs für Python und JavaScript übergeben Sie dafür base_url (bzw. baseURL) und api_key beim Anlegen des Clients oder setzen die Umgebungsvariablen OPENAI_BASE_URL und OPENAI_API_KEY, die die SDKs automatisch lesen.

Alles andere bleibt: dieselbe SDK-Version, dieselben Aufrufe client.chat.completions.create und client.responses.create, dieselbe Streaming-Schleife und dieselben Fehlerklassen. LangChain, LlamaIndex, das Vercel AI SDK und das OpenAI Agents SDK nehmen dieselben zwei Einstellungen entgegen. Legen Sie die Modell-ID in der Konfiguration ab, dann ist die Migration eine Einstellung, die sich zurücknehmen lässt.

Ersatzmodelle auswählen

Ordnen Sie jedem Einsatzzweck ein Modell zu, statt ein einziges Modell für alles zu suchen. Für allgemeinen Chat und Agenten ist ein großes offenes Modell wie gpt-oss-120b ein guter Ausgangspunkt. Für Klassifizierung oder Extraktion in großer Menge genügt oft ein kleineres, schnelleres Modell. Für Embeddings deckt qwen3-embedding-8b mehrsprachige Texte ab, whisper-large-v3-turbo ersetzt die Transkriptionsmodelle von OpenAI.

Bei Embeddings dürfen Sie nicht mischen: Vektoren von OpenAI-Modellen sind mit denen offener Modelle nicht vergleichbar. Betten Sie Ihren Bestand mit dem neuen Modell neu ein, am besten über die Batch-API, und tauschen Sie den Index dann in einem Schritt aus.

Was Sie vor dem Umstellen testen sollten

Stellen Sie aus echtem Verkehr einen kleinen Testsatz zusammen: 50 bis 200 Prompts mit Antworten, die Sie für gut halten. Lassen Sie ihn gegen alte und neue Konfiguration laufen und vergleichen Sie Qualität, Länge und Format, nicht nur den Erfolg der Anfrage.

Prüfen Sie die Funktionen, auf die Sie sich verlassen. Tool Calling sollte dieselben Funktionsnamen und gültige Argumente liefern. Structured Outputs müssen Ihr JSON-Schema erfüllen. Streaming sollte mit einem letzten Chunk samt Verbrauch enden. Bildeingaben brauchen ein Vision-Modell. Stark auf ein Modell zugeschnittene Prompts brauchen manchmal kleine Anpassungen, etwa eine klarere Anweisung zu Format oder Sprache.

Ausrollen und Sonderfälle

Verlagern Sie den Verkehr schrittweise. Senden Sie einen kleinen Anteil der Anfragen an inference.eu, vergleichen Sie Fehlerquoten und Rückmeldungen und erhöhen Sie dann. Da das Anfrageformat gleich ist, genügt meist ein Feature-Flag, das Basis-URL und Modell wählt.

Einige OpenAI-spezifische Funktionen haben keine direkte Entsprechung: die Modellnamen von OpenAI, gehostete Assistants und Vector Stores sowie Einstellungen, die an bestimmte OpenAI-Modelle gebunden sind. Nicht unterstützte Felder werden ignoriert oder mit einem klaren 400-Fehler abgelehnt, beobachten Sie also in den ersten Tagen Ihre Logs. Klären Sie die Limits Ihres Tarifs, bevor Sie Spitzenlast verlagern.

Migrate from OpenAI: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Frage stellen

Verwandte Seiten

API-Überblick

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

  • Antwort innerhalb eines Werktags
  • Preise für Ihr Volumen
  • AV-Vertrag unterschriftsreif