gpt-oss-120b in der EU über eine OpenAI-kompatible API nutzen

gpt-oss-120b ist eines von zwei Open-Weight-Modellen, die OpenAI im August 2025 veröffentlicht hat. Es ist ein Mixture-of-Experts-Modell mit 117 Milliarden Parametern, von denen pro Token 5,1 Milliarden aktiv sind, und einem Kontextfenster von 128.000 Tokens. Die Expertengewichte wurden in MXFP4-Präzision nachtrainiert, sodass das Modell auf eine einzelne 80-GB-GPU passt.

Es ist ein Reasoning-Modell: Vor der Antwort arbeitet es das Problem in einer Gedankenkette durch, und Sie wählen den Denkaufwand pro Anfrage, von niedrig für schnelle Antworten bis hoch für gründliche Analysen. Trainiert wurde es auf OpenAIs Harmony-Antwortformat, es unterstützt Function Calling und strukturierte Ausgaben. Es verarbeitet nur Text.

Gemessen an seinen aktiven Parametern ist gpt-oss-120b stark bei Reasoning, Mathematik, Programmierung und Werkzeugnutzung. Für Teams, die von den gehosteten Modellen von OpenAI wechseln, ist es ein naheliegender erster Schritt: Verhalten und Promptstil wirken vertraut, strukturierte Ausgaben und Function Calling funktionieren wie gewohnt. Die wenigen aktiven Parameter halten es effizient.

Bilder oder Audio verarbeitet es nicht. Sein Wissen ist älter als das von Modellen aus 2026 wie Qwen3.8 oder DeepSeek V4, die es bei vielen agentischen Programmieraufgaben übertreffen. OpenAI nennt auf der Modellkarte keine Liste unterstützter Sprachen, testen Sie Deutsch und andere Sprachen daher mit eigenen Inhalten. Hoher Denkaufwand erzeugt viele Ausgabe-Tokens.

Wenn Sie heute das OpenAI-SDK nutzen, ist der Wechsel eine Sache von zwei Zeilen: Setzen Sie die Base-URL auf die inference.eu-API und verwenden Sie Ihren inference.eu-Schlüssel. Tragen Sie dann als Modell gpt-oss-120b ein. Das Harmony-Format übernehmen wir, Sie senden normale Chat-Nachrichten und erhalten normale Antworten.

Mit reasoning_effort auf low, medium oder high wägen Sie Tempo gegen Tiefe ab. Tool Calls, JSON-Schema-Ausgaben und Streaming funktionieren wie gewohnt. Die Gedankenkette des Modells ist zur Fehlersuche gedacht, nicht für Endnutzer, zeigen Sie in Ihrem Produkt also nur die Antwort. Auch das Anthropic-Messages-Format steht bereit.

gpt-oss-120b auf inference.eu zu nutzen, ist etwas anderes als die API von OpenAI. Die offenen Gewichte laufen auf Infrastruktur in der Europäischen Union, Ihre Prompts und die Antworten werden in Rechenzentren in der EU verarbeitet, nichts wird an OpenAI gesendet und nichts zum Training eines Modells verwendet.

Jeder Kunde erhält einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO und unsere Liste der Unterauftragsverarbeiter. Eine Übermittlung von Prompts in die USA müssen Sie daher nicht bewerten. Abgerechnet wird in Euro. Die Apache-2.0-Lizenz erlaubt kommerzielle Nutzung ohne Nutzergrenzen, ergänzt um eine kurze Nutzungsrichtlinie von OpenAI für die gpt-oss-Modelle.