inference.eu

POST /v1/responses

Codeausführung: Python-Sandbox für Modelle, betrieben in der EU

Sprachmodelle schreiben guten Code, rechnen im Kopf aber unzuverlässig. Mit dem Werkzeug zur Codeausführung schreibt ein Modell Python, führt es in einer isolierten Sandbox aus und nutzt das Ergebnis in seiner Antwort. Aus Fragen zu Tabellen, Statistik oder Umrechnungen werden so berechnete Antworten statt Schätzungen. Die Sandboxes laufen in europäischen Rechenzentren.

  1. 01API-Format: OpenAI
  2. 02Rechenzentren in der EU
  3. 03Durch einen AV-Vertrag abgedeckt
POST /v1/responses
curl https://api.inference.eu/v1/responses \
  -H "Authorization: Bearer $INFERENCE_EU_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-oss-120b",
    "tools": [{
      "type": "code_interpreter",
      "container": {"type": "auto", "file_ids": ["file-4b81c0"]}
    }],
    "instructions": "Use Python to analyse the attached CSV. Show the numbers you computed.",
    "input": "Which three product categories grew fastest in revenue between Q2 and Q3, and by how much?"
  }'

Was das Werkzeug leistet

Ergänzen Sie in einer Anfrage an POST /v1/responses ein Werkzeug mit type: "code_interpreter". Hält das Modell Code für hilfreich, schreibt es Python, die API führt es in einer Sandbox aus, und das Modell liest die Ausgabe, behebt Fehler und führt den Code erneut aus, bis es hat, was es braucht. Dann antwortet es mit Text.

Jeder Lauf erscheint in output als Element code_interpreter_call mit dem geschriebenen code und der container_id. Zeigen oder protokollieren Sie diesen Code, wird die Antwort überprüfbar: Jeder sieht, wie eine Zahl berechnet wurde.

Container und Dateien

Das Feld container legt fest, wo Code läuft. {"type": "auto"} erstellt eine neue Sandbox für die Anfrage oder nutzt eine aus früheren Runden desselben Gesprächs. Mit file_ids stellen Sie Dateien darin bereit: Laden Sie eine CSV-, Excel- oder JSON-Datei zuerst über die Files-API mit purpose user_data hoch und übergeben Sie dann ihre ID.

Die Sandbox bietet Python mit gängigen Bibliotheken für Tabellen, Statistik und Diagramme. Vom Code erzeugte Dateien, etwa eine bereinigte CSV oder ein Diagramm, werden in der Antwort als Container-Dateizitate referenziert, sodass Sie sie herunterladen können. Container verfallen nach einer Zeit ohne Nutzung, ihre Dateien werden mit gelöscht.

Bewährte Einsatzmuster

Datenanalyse: Hängen Sie einen Export aus Shop, CRM oder Buchhaltung an und stellen Sie Fragen in normaler Sprache, etwa nach Wachstum je Kategorie oder Kunden mit überfälligen Rechnungen. Berechnungen: Tilgungspläne, Einheiten- und Währungsumrechnungen mit von Ihnen vorgegebenen Kursen oder Steuerbeispiele, bei denen exakte Rechnung zählt. Umformungen: eine unordentliche Tabelle bereinigen, zwei Dateien zusammenführen oder Daten ins Format eines anderen Systems bringen.

Kombinieren Sie das Werkzeug mit Reasoning-Modellen für mehrstufige Analysen und mit Structured Outputs, wenn ein Programm die Endzahlen liest. Für wiederkehrende Berichte halten Sie den Prompt fest und tauschen nur die angehängte Datei.

Fehler, Grenzen und Sicherheit

Die Sandbox ist von Ihren Systemen und anderen Kunden isoliert und hat standardmäßig keinen Internetzugang. Code kann also keine Daten nach außen senden und keine Pakete aus dem Netz installieren. Scheitert Code, erhält das Modell die Fehlermeldung und korrigiert meist selbst; bleibende Fehler enden mit einer Erklärung in der Antwort.

Läufe haben Grenzen für Zeit, Speicher und Dateigröße, die von Ihrem Tarif abhängen und mit Ihnen abgestimmt werden. Sehr große Dateien fassen Sie besser vor dem Upload zusammen oder filtern sie. Prüfen Sie wichtige Ergebnisse: Die Rechnung ist exakt, aber das Modell kann die falsche Spalte wählen oder die Frage missverstehen.

Code execution: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Frage stellen

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

  • Antwort innerhalb eines Werktags
  • Preise für Ihr Volumen
  • AV-Vertrag unterschriftsreif