LLM-API mit Hosting in der EU
Europäische KI für Entwickler: Claude, Gemini und offene LLMs über eine API
Schicken Sie Ihre Prompts an Claude, Gemini und Open-Weight-Modelle in europäischen Rechenzentren statt an einen US-Anbieter. Die API spricht das OpenAI-Format und auch das Anthropic-Messages-Format. Ihr bestehender Code läuft weiter, sobald Sie Base-URL und API-Schlüssel ändern.
So funktioniert es
Funktioniert mit dem OpenAI-SDK
Python, JavaScript, LangChain, LlamaIndex, das Vercel AI SDK und alles andere, was das OpenAI-Format spricht. Sie ändern Base-URL und Schlüssel, sonst nichts.
Auch im Anthropic-Format
Clients für die Anthropic Messages API rufen dieselben Open-Weight-Modelle auf. Sie tragen den EU-Endpunkt ein und wählen ein Modell.
Modellwechsel per Modellname
Alle Modelle liegen hinter demselben Endpunkt. Um ein anderes auszuprobieren, ändern Sie nur den Modellnamen in der Anfrage.
Verarbeitung in der EU
Prompts und Antworten werden in europäischen Rechenzentren verarbeitet. Fällt ein Standort aus, übernimmt ein anderer Standort in Europa.
Kein Training mit Ihren Daten
Was Sie senden, dient nur dazu, Ihre Anfrage zu beantworten. Es fließt in keinen Trainingslauf.
Chat, Code, Embeddings und Sprache
Text- und Codegenerierung, Embeddings und Reranking für die Suche, Spracherkennung und Bildmodelle – alles mit einem Schlüssel.
Abrechnung pro Token, in Euro
Sie zahlen für die Tokens, die Sie nutzen, auf einer Rechnung für alle Modelle.
Alle Modelle über einen EU-Endpunkt
Claude, Gemini und Open-Weight-Modelle für Chat, Code, Embeddings, Reranking, Sprache und Bilder. Wechseln Sie das Modell, indem Sie einen String ändern.
Chat
- Apertus 1.5 70BApertus 1.5 70B, das vollständig offene Schweizer KI-Modell von EPFL und ETH Zürich, auf inference.eu nutzen: OpenAI-kompatible API, Verarbeitung in der EU.Swiss AI Initiative (EPFL, ETH Zurich, CSCS) · 70B
- Claude Haiku 5.5Claude Haiku 5.5 von Anthropic auf inference.eu für große Mengen nutzen: Verarbeitung in der EU, ein Auftragsverarbeitungsvertrag, kein Training mit Ihren Daten.Anthropic
- Claude Sonnet 5.5Claude Sonnet 5.5 von Anthropic auf inference.eu nutzen: Verarbeitung in Rechenzentren in der EU, ein Auftragsverarbeitungsvertrag, kein Training mit Ihren Daten.Anthropic
- Clef FlashClef Flash auf inference.eu: 9B-Entscheidungsmodell, das Wahrscheinlichkeiten für typisierte Fragen statt Freitext liefert, verarbeitet in der EU.Cloudflare · 9B
- EuroLLM 22B InstructEuroLLM 22B Instruct, das europäische KI-Modell für alle 24 EU-Amtssprachen, auf inference.eu nutzen: OpenAI-kompatible API, Verarbeitung in der EU.UTTER project (Instituto Superior Técnico, Unbabel, University of Edinburgh and partners) · 22.6B
- Gemini 3.8 FlashGemini 3.8 Flash von Google auf inference.eu nutzen: schnelles Modell mit 1 Mio. Tokens Kontext, Verarbeitung in der EU, kein Training mit Ihren Daten.Google DeepMind
- Llama 3.3 70B InstructLlama 3.3 70B Instruct von Meta über eine OpenAI-kompatible API auf inference.eu nutzen: Verarbeitung in Rechenzentren in der EU, Abrechnung in Euro.Meta · 70B
- Mistral Small 4 119BMistral Small 4 119B vom französischen KI-Labor Mistral AI auf inference.eu: Reasoning, Bilder und Code in einem Modell, Verarbeitung in der EU.Mistral AI · 119B
- Qwen3 235B A22B InstructQwen3 235B A22B Instruct (2507) auf inference.eu: offenes KI-Modell mit 256K Kontext, OpenAI-kompatible API, Verarbeitung in Rechenzentren in der EU.Qwen (Alibaba Cloud) · 235B
- Teuken 7B InstructTeuken 7B Instruct, das deutsche KI-Modell aus OpenGPT-X für alle 24 EU-Amtssprachen, auf inference.eu über eine OpenAI-kompatible API nutzen.OpenGPT-X (Fraunhofer, Forschungszentrum Jülich, TU Dresden, DFKI) · 7B
Embeddings
- BGE-M3bge-m3 auf inference.eu: kompaktes mehrsprachiges Embedding-Modell für Suche und RAG, über 100 Sprachen und 8192 Tokens, verarbeitet in der EU.BAAI (Beijing Academy of Artificial Intelligence) · 568M
- multilingual-e5-large-instructmultilingual-e5-large-instruct auf inference.eu: kompakte Embeddings in 100 Sprachen für Suche, RAG und Klassifizierung, verarbeitet in der EU.Microsoft (intfloat) · 560M
- Qwen3 Embedding 8BQwen3 Embedding 8B auf inference.eu: mehrsprachige Embeddings für Suche und RAG, bis 4096 Dimensionen und 32K Tokens, verarbeitet in der EU.Qwen (Alibaba Cloud) · 8B
Reasoning
- Claude Opus 5Claude Opus 5 von Anthropic auf inference.eu nutzen: Verarbeitung in Rechenzentren in der EU, ein Auftragsverarbeitungsvertrag, kein Training mit Ihren Daten.Anthropic
- DeepSeek V4 FlashDeepSeek V4 Flash (0731) auf inference.eu: offenes Reasoning-Modell mit 1 Mio. Tokens Kontext, OpenAI-kompatible API, Verarbeitung in der EU statt in China.DeepSeek · 284B
- DeepSeek V4.1 Flash (1017)DeepSeek V4.1 Flash (1017) auf inference.eu: multimodales Reasoning-Modell mit 1 Mio. Tokens Kontext, OpenAI-kompatibel, verarbeitet in der EU statt in China.DeepSeek · 552B
- Gemini 4 ArgonGemini 4 Argon von Google auf inference.eu nutzen: Verarbeitung in Rechenzentren in der EU, ein Auftragsverarbeitungsvertrag, kein Training mit Ihren Daten.Google DeepMind
- GLM-5.3GLM-5.3 von Z.ai, ein offenes KI-Modell für komplexes Programmieren und lange Agentenaufgaben, auf inference.eu mit OpenAI- und Anthropic-API, verarbeitet in der EU.Z.ai (Zhipu AI) · 753B
- GLM-5.3-FlashGLM-5.3-Flash von Z.ai auf inference.eu: multimodales offenes KI-Modell, 18B aktive Parameter, 1 Mio. Tokens Kontext, OpenAI-kompatibel, in der EU verarbeitet.Z.ai (Zhipu AI) · 320B
- gpt-oss-120bOpenAIs offenes Reasoning-Modell gpt-oss-120b auf inference.eu: OpenAI-API-Format, Verarbeitung in Rechenzentren in der EU, Abrechnung in Euro.OpenAI · 117B
- gpt-oss-20bOpenAIs kompaktes Open-Weight-Reasoning-Modell gpt-oss-20b auf inference.eu: OpenAI-API-Format, Verarbeitung in Rechenzentren in der EU, Abrechnung in Euro.OpenAI · 21B
- Kimi K2.6Kimi K2.6 von Moonshot AI auf inference.eu: offenes agentisches KI-Modell mit 1 Billion Parametern, Bildeingabe und 256K Kontext, verarbeitet in der EU.Moonshot AI · 1T
- Kimi K3Kimi K3 von Moonshot AI, offenes KI-Modell mit 2,8 Billionen Parametern, 1 Mio. Tokens Kontext sowie Bild- und Videoeingabe, auf inference.eu in der EU nutzen.Moonshot AI · 2.8T
- Magistral Small 1.2Magistral Small 1.2, das offene 24B-Reasoning-Modell von Mistral AI, auf inference.eu über eine OpenAI-kompatible API nutzen, verarbeitet in der EU.Mistral AI · 24B
- MiniMax M3MiniMax M3 auf inference.eu: offenes multimodales KI-Modell mit 1 Mio. Tokens Kontext für Programmierung und Agenten, OpenAI-kompatibel, in der EU verarbeitet.MiniMax · 428B
- Qwen3.8 27BQwen3.8 27B auf inference.eu: dichtes offenes KI-Modell mit Bild- und Videoeingabe, einstellbarem Reasoning und 256K Kontext, OpenAI-kompatibel, in der EU.Qwen (Alibaba Cloud) · 27B
Code
- Devstral Small 2Devstral Small 2, das offene 24B-Coding-Modell von Mistral AI, auf inference.eu: OpenAI- und Anthropic-API, Verarbeitung in Rechenzentren in der EU.Mistral AI · 24B
- Qwen3.6 27BQwen3.6 27B auf inference.eu: dichtes offenes KI-Modell für agentisches Programmieren mit Bildeingabe und 256K Kontext, OpenAI-kompatibel, in der EU verarbeitet.Qwen (Alibaba Cloud) · 27B
- Qwen3.6 35B A3BQwen3.6 35B A3B auf inference.eu: schnelles Mixture-of-Experts-Modell mit 3B aktiven Parametern, Bildeingabe und 256K Kontext, verarbeitet in der EU.Qwen (Alibaba Cloud) · 35B
Vision
- Gemma 4 26B A4BGoogles Gemma 4 26B A4B auf inference.eu: schnelles Mixture-of-Experts-Modell mit Bildeingabe und 256K Kontext, Verarbeitung in Rechenzentren in der EU.Google DeepMind · 25.2B
- Gemma 4 31BGoogles Gemma 4 31B auf inference.eu: offenes multimodales KI-Modell mit 256K Kontext, OpenAI-kompatible API, Verarbeitung in Rechenzentren in der EU.Google DeepMind · 30.7B
Spracherkennung
- Voxtral Small 24BAudio transkribieren und verstehen mit Voxtral Small 24B von Mistral AI auf inference.eu: OpenAI-kompatible API, Verarbeitung in Rechenzentren in der EU.Mistral AI · 24B
- Whisper Large V3 TurboAudio transkribieren mit OpenAIs offenem Whisper Large V3 Turbo auf inference.eu: Format der OpenAI-Transkriptions-API, Verarbeitung in der EU.OpenAI · 809M
Von OpenAI wechseln, indem Sie eine Zeile ändern
Die API nutzt das Anfrageformat von OpenAI, Ihre SDKs und Frameworks funktionieren also wie bisher. Ändern Sie Base-URL und Schlüssel und vergleichen Sie Modelle mit Ihren eigenen Prompts.
from openai import OpenAI
client = OpenAI(
base_url="https://api.inference.eu/v1",
api_key="INFERENCE_EU_API_KEY",
)
response = client.chat.completions.create(
model="mistral-small-4-119b",
messages=[{"role": "user", "content": "Summarise this contract in three bullet points"}],
)
print(response.choices[0].message.content)
import OpenAI from "openai"
const client = new OpenAI({
baseURL: "https://api.inference.eu/v1",
apiKey: process.env.INFERENCE_EU_API_KEY,
})
const response = await client.chat.completions.create({
model: "mistral-small-4-119b",
messages: [{ role: "user", content: "Summarise this contract in three bullet points" }],
})
console.log(response.choices[0].message.content)
curl https://api.inference.eu/v1/chat/completions \
-H "Authorization: Bearer $INFERENCE_EU_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "mistral-small-4-119b",
"messages": [{"role": "user", "content": "Summarise this contract in three bullet points"}]
}'
Wofür Teams die API nutzen
KI-Funktionen in SaaS-Produkten
Bauen Sie Chat, Zusammenfassungen oder Suche in Ihr Produkt ein, ohne die Daten Ihrer Kunden aus der EU zu geben.
Suche in internen Dokumenten
Betten Sie Verträge, Tickets und Wikis ein und beantworten Sie Fragen dazu per Retrieval-Augmented Generation.
Weg vom US-KI-Anbieter
Behalten Sie Prompts und Code, richten Sie sie auf einen EU-Endpunkt und vergleichen Sie die Qualität Modell für Modell.
Agenten und Coding-Tools
Betreiben Sie Coding-Assistenten und Agenten mit Open-Weight-Modellen in der EU, im OpenAI- oder im Anthropic-Format.
Modelle: häufige Fragen
Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.
Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur
Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.
- Antwort innerhalb eines Werktags
- Preise für Ihr Volumen
- AV-Vertrag unterschriftsreif