Was ist ein Reasoning-Modell?

Ein Reasoning-Modell erzeugt vor der endgültigen Antwort eine Gedankenkette, arbeitet das Problem in Schritten durch und prüft sich selbst. Dadurch ist es bei Mathematik, Logik, Planung und schwierigem Code genauer, braucht aber mehr Tokens und mehr Zeit. `gpt-oss-120b` ist ein offenes Reasoning-Modell bei inference.eu.

Wie stelle ich den Denkaufwand ein?

In der Responses API übergeben Sie `reasoning: {"effort": "low" | "medium" | "high"}`, in Chat Completions `reasoning_effort` mit denselben Werten. Höherer Aufwand verbessert Antworten bei schweren Problemen meist, kostet aber mehr Tokens und Zeit. Testen Sie, welche Stufe jede Aufgabe braucht.

Kosten Reasoning-Tokens Geld?

Reasoning-Tokens sind Ausgabe-Tokens. Sie erscheinen in `usage` und werden wie der Rest der Antwort abgerechnet. In der Responses API sehen Sie sie unter `usage.output_tokens_details.reasoning_tokens`. Senken Sie den Aufwand bei Aufgaben, die kein tiefes Nachdenken erfordern.

Kann ich das Reasoning des Modells sehen?

Offene Reasoning-Modelle können ihren Denktext in der Responses API als Element `reasoning` zurückgeben. Das hilft beim Debuggen und Prüfen. Behandeln Sie ihn als Arbeitsentwurf, nicht als Erklärung für Kunden, denn er kann Ideen enthalten, die das Modell später verworfen hat.

Warum ist die Antwort eines Reasoning-Modells leer?

Vermutlich hat das Modell das Tokenlimit beim Nachdenken aufgebraucht. Prüfen Sie `status` und `incomplete_details` in Responses oder `finish_reason` in Chat Completions. Erhöhen Sie `max_output_tokens` bzw. `max_tokens` oder senken Sie den Denkaufwand und senden Sie die Anfrage erneut.

Wann sollte ich kein Reasoning-Modell nutzen?

Bei einfachen Aufgaben in großer Menge: Zusammenfassen, Umformulieren, Klassifizieren, kurze Extraktion oder lockere Chat-Antworten. Ein Standardmodell antwortet schneller und mit weniger Tokens, Reasoning bringt hier wenig. Reasoning-Modelle lohnen sich, wo Fehler teuer sind und das Problem mehrere Schritte hat.

Unterstützen Reasoning-Modelle Tool Calling?

Ja. Reasoning-Modelle planen, welche Werkzeuge sie aufrufen, rufen sie auf und denken über die Ergebnisse nach. Behalten Sie in der Responses API die Reasoning-Elemente zwischen den Runden über `previous_response_id`, damit das Modell seinen Plan nach jedem Werkzeugergebnis nicht neu entwickeln muss.

Kann ich die Antwort eines Reasoning-Modells streamen?

Ja. Streaming funktioniert wie bei jedem anderen Modell. Sie erhalten zuerst die Reasoning-Events, sofern das Modell sie liefert, und dann die Antwort als Textstücke. Zeigen Sie während der Denkphase einen Fortschrittshinweis, damit Nutzer wissen, dass das Modell arbeitet.

Reasoning-Modelle per API · Denkmodelle gehostet in der EU

Reasoning-Modelle: offene Denkmodelle, verarbeitet in der EU

Reasoning-Modelle arbeiten ein Problem Schritt für Schritt durch, bevor sie antworten. Sie sind langsamer und verbrauchen mehr Tokens als normale Chat-Modelle, sind aber deutlich besser bei Mathematik, mehrstufiger Planung, schwierigem Code und Fragen, bei denen der erste Einfall oft falsch ist. Über die inference.eu API steuern Sie, wie viel sie nachdenken, und sehen, wie viele Tokens das Nachdenken gekostet hat.

import os from openai import OpenAI client = OpenAI(base_url="https://api.inference.eu/v1", api_key=os.environ["INFERENCE_EU_API_KEY"]) response = client.responses.create( model="gpt-oss-120b", reasoning={"effort": "high"}, max_output_tokens=8000, input=( "A warehouse ships 1,240 parcels a day. 3.5% are returned, and each return costs " "EUR 7.80 to process. A new packaging change cuts returns by a fifth but adds " "EUR 0.12 per parcel. Is the change worth it over a 250-day working year?" ), ) print(response.output_text) print("reasoning tokens:", response.usage.output_tokens_details.reasoning_tokens)

So arbeiten Reasoning-Modelle

Senden Sie eine Anfrage an ein Reasoning-Modell wie gpt-oss-120b, erzeugt es zunächst Reasoning-Tokens: eine interne Gedankenkette, in der es Ansätze ausprobiert, Zwischenergebnisse prüft und Fehler korrigiert. Erst danach schreibt es die eigentliche Antwort. Beide Arten von Tokens entstehen auf unserer Infrastruktur in der EU und zählen als Ausgabe-Tokens.

Sie nutzen dieselben Endpunkte wie bei jedem anderen Modell: Chat Completions, Responses oder Messages. Unterschiede gibt es bei Limits und beim Auslesen der Antwort. Reasoning hilft vor allem bei Problemen mit überprüfbarer Lösung; für einfaches Umformulieren oder Klassifizieren ist ein Standardmodell schneller und günstiger.

Den Denkaufwand steuern

In der Responses API setzen Sie reasoning.effort auf low, medium oder high, in Chat Completions heißt das Feld reasoning_effort. Geringer Aufwand liefert schnelle Antworten mit kurzer Gedankenkette, hoher Aufwand lässt das Modell bei schweren Problemen länger nachdenken. Beginnen Sie mit medium und passen Sie den Wert je Aufgabe anhand gemessener Qualität an.

Setzen Sie max_output_tokens (bzw. max_tokens in Chat Completions) großzügig, denn das Limit umfasst Reasoning und Antwort. Ein schweres Problem kann bei hohem Aufwand Tausende Reasoning-Tokens verbrauchen, bevor das erste Wort der Antwort erscheint. Ist das Limit zu knapp, endet die Antwort, bevor sie beginnt.

Die Antwort auslesen

In der Responses API enthält output ein Element reasoning und danach die message mit der Antwort; output_text liefert nur die Antwort. usage.output_tokens_details.reasoning_tokens zeigt, wie viele Tokens das Nachdenken verbraucht hat. Diese Zahl sollten Sie für Kosten und Tempo im Blick behalten.

Offene Modelle können den Text ihres Reasonings zurückgeben, was beim Debuggen von Prompts und für Prüfpfade hilft. Zeigen Sie ihn Endnutzern aber mit Bedacht, denn er enthält verworfene Ideen und Fehlstarts. Setzen Sie ein Gespräch mit Tool Calls fort, geben Sie die Reasoning-Elemente über previous_response_id weiter, damit das Modell seinen Gedankengang behält. In Chat Completions senden Sie altes Reasoning nicht als Teil von content zurück.

Fehler und Sonderfälle

Das häufigste Problem ist eine leere oder unvollständige Antwort wegen eines zu niedrigen Tokenlimits: In Responses lautet status dann incomplete, in Chat Completions ist finish_reason length. Erhöhen Sie das Limit oder senken Sie den Aufwand.

Reasoning-Modelle brauchen länger bis zum ersten sichtbaren Token. Setzen Sie Client-Timeouts entsprechend und streamen Sie, wenn Nutzer warten. Manche Sampling-Einstellungen, etwa eine sehr hohe temperature, stören sorgfältiges Denken; belassen Sie sie ohne guten Grund bei den Standardwerten. reasoning_effort an ein Modell ohne Reasoning ergibt je nach Modell einen 400-Fehler oder wird ignoriert.

Reasoning-Modelle: offene Denkmodelle, verarbeitet in der EU

So arbeiten Reasoning-Modelle

Den Denkaufwand steuern

Die Antwort auslesen

Fehler und Sonderfälle

Reasoning models: häufige Fragen

Verwandte Seiten

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur