inference.eu

POST /v1/files

Files-API: Dateien hochladen und verwalten, gespeichert in der EU

Die Files-Endpunkte speichern Eingaben und Ergebnisse von Aufgaben, die nicht in eine einzelne Anfrage passen. Sie laden eine JSONL-Datei mit Anfragen für einen Batch-Job hoch, holen die Ergebnisse nach Abschluss ab und löschen beides, wenn Sie fertig sind. Die Endpunkte folgen der Files-API von OpenAI, und Dateien liegen in europäischen Rechenzentren.

  1. 01API-Format: OpenAI
  2. 02Rechenzentren in der EU
  3. 03Durch einen AV-Vertrag abgedeckt
POST /v1/files
# Upload a JSONL file of requests for a batch job
curl https://api.inference.eu/v1/files \
  -H "Authorization: Bearer $INFERENCE_EU_API_KEY" \
  -F purpose="batch" \
  -F file="@ticket-classification.jsonl"

# {"id": "file-7f3c2a", "object": "file", "bytes": 482113, "created_at": 1793620800,
#  "filename": "ticket-classification.jsonl", "purpose": "batch"}

Was die Endpunkte leisten

POST /v1/files lädt eine Datei als multipart/form-data mit zwei Feldern hoch: file und purpose. Nutzen Sie purpose batch für Batch-Eingaben oder user_data für Dateien, die ein Werkzeug wie die Codeausführung lesen soll. Die Antwort ist ein Dateiobjekt mit id, bytes, filename, purpose und created_at. Über die id verweisen Sie überall sonst auf die Datei.

GET /v1/files listet Ihre Dateien, GET /v1/files/{file_id} liefert ein einzelnes Objekt, GET /v1/files/{file_id}/content lädt den Inhalt herunter und DELETE /v1/files/{file_id} entfernt die Datei. Ausgabe- und Fehlerdateien von Batches erscheinen in derselben Liste mit purpose batch_output.

Eine Batch-Eingabedatei vorbereiten

Eine Batch-Eingabedatei ist JSON Lines: eine Anfrage pro Zeile, jeweils mit einer selbst gewählten custom_id, method POST, der url wie /v1/chat/completions oder /v1/embeddings und einem body, der genau dem entspricht, was Sie an diesen Endpunkt senden würden. Alle Zeilen einer Datei sollten denselben Endpunkt ansprechen.

Wählen Sie eine aussagekräftige custom_id, etwa eine Ticketnummer oder Dokument-ID, denn Ergebnisse kommen in beliebiger Reihenfolge zurück und werden über diesen Wert zugeordnet. Prüfen Sie die Datei vor dem Upload: Jede Zeile muss gültiges JSON sein, und schon eine fehlerhafte Zeile kann die Validierung des ganzen Batches scheitern lassen.

Speicherung, Aufbewahrung und Aufräumen

Dateien liegen in europäischen Rechenzentren, sind nur mit Schlüsseln Ihrer Organisation zugänglich und werden nie zum Training von Modellen verwendet. Behandeln Sie sie wie jede andere Kopie Ihrer Daten: Löschen Sie Eingabedateien, sobald der Batch abgeschlossen ist und Sie die Ergebnisse haben, und Ausgabedateien, sobald sie verarbeitet sind.

Ein kurzer Aufräumschritt am Ende jedes Jobs genügt. Er hält die Liste übersichtlich und begrenzt, wie viele sensible Daten im Speicher liegen. Wie lange nicht gelöschte Dateien aufbewahrt werden, hängt von Ihrem Vertrag ab und wird mit Ihnen abgestimmt.

Fehler und Sonderfälle

Ein Upload ohne purpose oder mit einem nicht unterstützten Wert ergibt einen 400-Fehler. Dateien über der Maximalgröße werden ebenfalls abgelehnt; teilen Sie große Eingaben auf mehrere Dateien und Batches auf. Die Größengrenze hängt von Ihrem Tarif ab und wird mit Ihnen abgestimmt.

Eine Datei-ID, die nicht existiert oder einer anderen Organisation gehört, liefert 404. Den Inhalt einer Datei, die noch geschrieben wird, etwa die Ausgabe eines laufenden Batches, können Sie nicht herunterladen; warten Sie auf den Status completed. Wenn Sie eine Datei löschen, die ein laufender Batch nutzt, kann dieser scheitern. Löschen Sie Eingaben also erst danach.

Files: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Frage stellen

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

  • Antwort innerhalb eines Werktags
  • Preise für Ihr Volumen
  • AV-Vertrag unterschriftsreif