API
Eine OpenAI-kompatible KI-API mit Verarbeitung in der EU
Alle Endpunkte nutzen das Anfrageformat von OpenAI oder Anthropic, Ihre SDKs und Frameworks funktionieren also unverändert. Anfragen werden in europäischen Rechenzentren verarbeitet und nie für Training genutzt.
API
Endpunkte
- Chat completionsSenden Sie Chat-Nachrichten im OpenAI-Format an Open-Weight-Modelle. Verarbeitung in Rechenzentren in der EU, keine Nutzung Ihrer Daten für Training.POST /v1/chat/completions
- ResponsesNutzen Sie das Format der OpenAI Responses API mit Open-Weight-Modellen auf inference.eu. Typisierte Ausgaben, eingebaute Werkzeuge, Verarbeitung in der EU.POST /v1/responses
- Messages (Anthropic format)Rufen Sie Open-Weight-Modelle im Anthropic-Messages-Format auf inference.eu auf. Kompatibel mit Anthropic-SDKs und Claude Code, Verarbeitung in der EU.POST /v1/messages
- Count tokensZählen Sie die Eingabe-Tokens einer Messages-Anfrage, bevor Sie sie senden. Anthropic-kompatibler Endpunkt count_tokens auf inference.eu, Verarbeitung in der EU.POST /v1/messages/count_tokens
- List modelsListen Sie mit GET /v1/models im OpenAI-Format alle Open-Weight-Modelle auf, die Ihr inference.eu-Schlüssel nutzen darf, von Chat bis Embeddings.GET /v1/models
- EmbeddingsWandeln Sie Text in Vektoren für Suche, RAG und Clustering um. OpenAI-kompatible Embeddings-API mit offenen Modellen, Verarbeitung in Rechenzentren der EU.POST /v1/embeddings
- RerankSortieren Sie Suchergebnisse für RAG nach Relevanz mit einer Rerank-API. Cross-Encoder-Modelle wie bge-reranker-v2-m3, Verarbeitung in Rechenzentren der EU.POST /v1/rerank
- Speech to textTranskribieren Sie Audio mit Whisper über eine OpenAI-kompatible Speech-to-Text-API. Meetings, Telefonate und Sprachnotizen, verarbeitet in der EU.POST /v1/audio/transcriptions
- Text to speechErzeugen Sie natürliche Sprache aus Text mit einer OpenAI-kompatiblen Text-to-Speech-API. Offene Stimmmodelle für Apps und Hotlines, Verarbeitung in der EU.POST /v1/audio/speech
- Image generationErzeugen Sie Bilder aus Textbeschreibungen mit einer OpenAI-kompatiblen Bild-API. Offene Bildmodelle wie FLUX.1 schnell, verarbeitet in der EU.POST /v1/images/generations
- FilesLaden Sie Dateien mit einer OpenAI-kompatiblen Files-API hoch, listen, laden und löschen Sie sie. Für Batch-Jobs und Werkzeuge, gespeichert in der EU.POST /v1/files
- BatchesFühren Sie Tausende Chat- oder Embedding-Anfragen als asynchronen Job aus. OpenAI-kompatible Batch-API mit JSONL-Upload, verarbeitet in der EU.POST /v1/batches
Anleitungen
- Migrate from OpenAIMigrieren Sie Ihre Anwendung von OpenAI auf offene Modelle mit Verarbeitung in der EU. Basis-URL, Schlüssel und Modell ändern, dann Werkzeuge und JSON prüfen.
- StreamingStreamen Sie Tokens offener Modelle während der Generierung, mit Server-Sent Events im OpenAI- und Anthropic-Format. Beispiele, Chunk-Format, Fehler.
- Tool callingLassen Sie offene Modelle Ihre Funktionen und APIs aufrufen, mit OpenAI-kompatiblem Tool Calling. Werkzeuge definieren, Schleife ausführen, in der EU.
- Structured outputsErhalten Sie von offenen Modellen gültiges JSON nach Ihrem Schema, mit OpenAI-kompatiblen Structured Outputs. JSON-Modus, json_schema, strict und Stolperfallen.
- VisionSenden Sie Bilder im OpenAI-Chatformat an offene Vision-Modelle. Belege, Screenshots, Formulare und Fotos auslesen, verarbeitet in Rechenzentren der EU.
- Reasoning modelsNutzen Sie offene Reasoning-Modelle, die vor der Antwort nachdenken. Denkaufwand steuern, Reasoning-Tokens auslesen, Limits beachten, verarbeitet in der EU.
- Prompt cachingVerwenden Sie den verarbeiteten Anfang eines Prompts mit automatischem Prompt-Caching erneut. Prompts für Cache-Treffer aufbauen und cached_tokens auslesen.
- Rate limits and errorsSo funktionieren Rate Limits und Fehler bei der inference.eu API. HTTP-Statuscodes, das Fehlerobjekt, Rate-Limit-Header und ein belastbares Retry-Muster.
Tools
- Document conversionWandeln Sie PDF-, Word-, PowerPoint- und Excel-Dateien in sauberes Markdown für RAG und Prompts um. Tabellen, Überschriften und Scans, verarbeitet in der EU.POST /v1/documents/convert
- Remote MCP serversBinden Sie entfernte MCP-Server über das mcp-Werkzeug der Responses API in Anfragen ein. Die API listet und ruft die Werkzeuge für Sie auf, in der EU.POST /v1/responses
- Web searchLassen Sie offene Modelle während einer Anfrage im Web suchen, mit dem web_search-Werkzeug der Responses API. Aktuelle Antworten mit Quellenangaben.POST /v1/responses
- Code executionLassen Sie offene Modelle Python in einer Sandbox schreiben und ausführen, mit dem code_interpreter-Werkzeug der Responses API. Datenanalyse in der EU.POST /v1/responses
Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur
Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.
- Antwort innerhalb eines Werktags
- Preise für Ihr Volumen
- AV-Vertrag unterschriftsreif