inference.eu

POST /v1/responses

Responses API: das OpenAI-Responses-Format, verarbeitet in der EU

Der Responses-Endpunkt ist die neuere der beiden Generierungs-APIs im OpenAI-Stil. Er arbeitet mit `instructions` und `input` statt mit einer Nachrichtenliste, liefert typisierte Ausgabeelemente und ist der Ort, an dem Sie eingebaute Werkzeuge wie Websuche, Codeausführung und entfernte MCP-Server konfigurieren. Für neue Projekte und Agenten mit dem OpenAI Agents SDK ist er meist die richtige Wahl.

  1. 01API-Format: OpenAI
  2. 02Rechenzentren in der EU
  3. 03Durch einen AV-Vertrag abgedeckt
POST /v1/responses
curl https://api.inference.eu/v1/responses \
  -H "Authorization: Bearer $INFERENCE_EU_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-oss-120b",
    "instructions": "You are a support assistant for a Dutch logistics company. Answer in two short paragraphs.",
    "input": "A customer says their pallet was delivered to the wrong depot. What should I ask them first?",
    "max_output_tokens": 500,
    "reasoning": {"effort": "low"}
  }'

Was der Endpunkt leistet

POST /v1/responses erzeugt eine Antwort aus input. Das kann ein einfacher String sein oder eine Liste von Elementen: Nachrichten, Bilder, frühere Ausgaben und Ergebnisse von Werkzeugen. instructions enthält den Systemprompt, getrennt vom Inhalt der Nutzer, sodass Sie ihn ändern können, ohne die Eingabe neu aufzubauen.

Die Ausgabe ist ein Array output. Eine einfache Antwort besteht aus einem Element vom Typ message, ein Agenten-Schritt kann dagegen Reasoning, Funktionsaufrufe, Websuchen und MCP-Aufrufe in zeitlicher Reihenfolge enthalten. Die OpenAI-SDKs fassen die Textteile in der Eigenschaft output_text zusammen.

Die wichtigsten Felder der Anfrage

Pflicht sind nur model und input. max_output_tokens begrenzt die Antwort einschließlich der Reasoning-Tokens, reasoning.effort (low, medium oder high) legt fest, wie gründlich ein Reasoning-Modell nachdenkt. temperature und top_p wirken wie bei Chat Completions.

In tools stehen Ihre eigenen Funktionen sowie eingebaute Typen wie web_search, code_interpreter und mcp. Über text.format fordern Sie JSON nach einem Schema an. Mit stream: true erhalten Sie typisierte Server-Sent Events wie response.output_text.delta, und previous_response_id setzt einen früheren Schritt fort, ohne den gesamten Verlauf erneut zu senden.

Gesprächszustand und Speicherung

Bei Chat Completions schickt Ihr Code jedes Mal den kompletten Verlauf. Bei Responses genügt previous_response_id, und die API stellt den Kontext aus der gespeicherten Antwort wieder her. Das hält Anfragen in langen Agenten-Schleifen klein und bewahrt die Reasoning-Elemente zwischen den Schritten.

Gespeicherte Antworten liegen in der EU und werden nie für Training verwendet. Möchten Sie gar nichts speichern lassen, setzen Sie store auf false und senden den vollständigen Input bei jeder Anfrage, genau wie bei Chat Completions. Wie lange gespeicherte Antworten aufbewahrt werden, hängt von Ihrem Vertrag ab und wird vor dem Start mit Ihnen abgestimmt.

Fehler und Sonderfälle

Prüfen Sie bei jeder Antwort das Feld status. completed ist der Normalfall. incomplete bedeutet einen vorzeitigen Abbruch, und incomplete_details.reason verrät, ob max_output_tokens erreicht war. Eine Antwort mit failed enthält ein Objekt error. HTTP-Fehler folgen dem bekannten Schema: 400 für ungültige Anfragen, 401 für falsche Schlüssel, 404 für unbekannte Modelle oder Antwort-IDs, 429 beim Erreichen eines Tariflimits.

Gehen Sie nicht davon aus, dass das erste Element der Text ist. Reasoning-Modelle stellen ein Element reasoning voran. Durchlaufen Sie output und wählen Sie nach type aus, oder nutzen Sie output_text im SDK.

Responses: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Frage stellen

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

  • Antwort innerhalb eines Werktags
  • Preise für Ihr Volumen
  • AV-Vertrag unterschriftsreif