Das OpenAI-SDK mit Open-Source-Modellen aus der EU nutzen

Die Pakete openai sind die meistgenutzten Client-Bibliotheken für Sprachmodell-APIs, und viele andere Werkzeuge bauen auf ihnen auf. Sie übernehmen Wiederholungen, Timeouts, Streaming, typisierte Antworten und Fehlerbehandlung. Da inference.eu das OpenAI-API-Format spricht, behalten Sie all das und ändern nur das Ziel der Anfragen.

Oft ist das der schnellste Weg, eine bestehende Anwendung auf Open-Weight-Modelle in der EU umzustellen: zwei Konstruktorargumente und ein neuer Modellname, ohne neue Abhängigkeit und ohne Änderungen am übrigen Code.

In Python übergeben Sie base_url und api_key an OpenAI(...) oder AsyncOpenAI(...). In JavaScript und TypeScript übergeben Sie baseURL und apiKey an new OpenAI({...}). Die Basis-URL endet auf /v1; Pfade wie /chat/completions hängt das SDK selbst an.

Beide SDKs lesen außerdem OPENAI_BASE_URL und OPENAI_API_KEY aus der Umgebung, wenn Sie keine Werte übergeben. Das hilft bei Werkzeugen, die Sie nicht anpassen können. In eigenem Code sind explizite Argumente mit INFERENCE_EU_API_KEY klarer und verhindern Verwechslungen, wenn ein Projekt mit mehreren Anbietern spricht.

Mit client.models.list() sehen Sie die Modell-IDs, die Ihrem Schlüssel zur Verfügung stehen. Für allgemeinen Chat, Extraktion und Zusammenfassungen ist gpt-oss-120b ein schneller, leistungsfähiger Standard. Für Codegenerierung und Agenten mit Tool-Aufrufen ist qwen3-coder-480b-a35b-instruct eine starke Wahl.

Für komplexes Schlussfolgern, lange Dokumente oder mehrstufige Agenten-Workflows testen Sie glm-5.3 oder kimi-k3. Da sich nur der Wert model ändert, vergleichen Sie Modelle direkt an Ihren eigenen Prompts: dieselbe Anfrage gegen mehrere IDs, dann Qualität, Antwortzeit und Token-Verbrauch prüfen.

Ein 401 AuthenticationError bedeutet, dass der Schlüssel fehlt oder falsch ist. Prüfen Sie, ob Sie INFERENCE_EU_API_KEY lesen und nicht einen alten OPENAI_API_KEY. Ein 404 NotFoundError bedeutet meist, dass der Basis-URL /v1 fehlt, ein Pfad zu viel enthalten ist oder die Modell-ID nicht existiert.

Nutzen Sie Chat Completions mit client.chat.completions.create als den am breitesten unterstützten Weg. Für Token-Angaben beim Streaming übergeben Sie stream_options={"include_usage": True}, die Werte kommen im letzten Chunk. Kommen Tool-Aufrufe als Text zurück, prüfen Sie, ob das Modell Tool-Aufrufe unterstützt und tools dem JSON-Schema-Format folgt.

Mit der Basis-URL auf inference.eu wird jede Anfrage, die Ihre Anwendung über das SDK sendet, in EU-Rechenzentren verarbeitet. Prompts und Antworten werden nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Das SDK selbst spricht nur mit der konfigurierten Basis-URL und sendet keine Telemetrie an OpenAI. Prüfen Sie den Rest Ihres Stacks: Logging-, Tracing- und Evaluationsdienste speichern unter Umständen ebenfalls Prompts. Wenn Sie OPENAI_BASE_URL global setzen, achten Sie darauf, dass kein anderer Codepfad noch einen Client mit der Standard-URL von OpenAI erzeugt.