---
title: "Europäische KI-API · Claude, Gemini und offene LLMs in der EU"
description: "Claude, Gemini, Open-Weight-LLMs, Embeddings und Sprachmodelle, verarbeitet in EU-Rechenzentren. Der Wechsel von OpenAI kostet eine Zeile Code."
canonical: "https://inference.eu/de/modelle/"
language: "de"
---

LLM-API mit Hosting in der EU

# Europäische KI für Entwickler: Claude, Gemini und offene LLMs über eine API

Schicken Sie Ihre Prompts an Claude, Gemini und Open-Weight-Modelle in europäischen Rechenzentren statt an einen US-Anbieter. Die API spricht das OpenAI-Format und auch das Anthropic-Messages-Format. Ihr bestehender Code läuft weiter, sobald Sie Base-URL und API-Schlüssel ändern.

[Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Alle Modelle über einen EU-Endpunkt](#directory)

## So funktioniert es

-   ### Funktioniert mit dem OpenAI-SDK

    Python, JavaScript, LangChain, LlamaIndex, das Vercel AI SDK und alles andere, was das OpenAI-Format spricht. Sie ändern Base-URL und Schlüssel, sonst nichts.

-   ### Auch im Anthropic-Format

    Clients für die Anthropic Messages API rufen dieselben Open-Weight-Modelle auf. Sie tragen den EU-Endpunkt ein und wählen ein Modell.

-   ### Modellwechsel per Modellname

    Alle Modelle liegen hinter demselben Endpunkt. Um ein anderes auszuprobieren, ändern Sie nur den Modellnamen in der Anfrage.

-   ### Verarbeitung in der EU

    Prompts und Antworten werden in europäischen Rechenzentren verarbeitet. Fällt ein Standort aus, übernimmt ein anderer Standort in Europa.

-   ### Kein Training mit Ihren Daten

    Was Sie senden, dient nur dazu, Ihre Anfrage zu beantworten. Es fließt in keinen Trainingslauf.

-   ### Chat, Code, Embeddings und Sprache

    Text- und Codegenerierung, Embeddings und Reranking für die Suche, Spracherkennung und Bildmodelle – alles mit einem Schlüssel.

-   ### Abrechnung pro Token, in Euro

    Sie zahlen für die Tokens, die Sie nutzen, auf einer Rechnung für alle Modelle.

## Alle Modelle über einen EU-Endpunkt

Claude, Gemini und Open-Weight-Modelle für Chat, Code, Embeddings, Reranking, Sprache und Bilder. Wechseln Sie das Modell, indem Sie einen String ändern.

### Chat

-   [Apertus 1.5 70BApertus 1.5 70B, das vollständig offene Schweizer KI-Modell von EPFL und ETH Zürich, auf inference.eu nutzen: OpenAI-kompatible API, Verarbeitung in der EU.Swiss AI Initiative (EPFL, ETH Zurich, CSCS) · 70B](https://inference.eu/de/modelle/apertus-70b/)
-   [Claude Haiku 5.5Claude Haiku 5.5 von Anthropic auf inference.eu für große Mengen nutzen: Verarbeitung in der EU, ein Auftragsverarbeitungsvertrag, kein Training mit Ihren Daten.Anthropic](https://inference.eu/de/modelle/claude-haiku-5-5/)
-   [Claude Sonnet 5.5Claude Sonnet 5.5 von Anthropic auf inference.eu nutzen: Verarbeitung in Rechenzentren in der EU, ein Auftragsverarbeitungsvertrag, kein Training mit Ihren Daten.Anthropic](https://inference.eu/de/modelle/claude-sonnet-5-5/)
-   [Clef FlashClef Flash auf inference.eu: 9B-Entscheidungsmodell, das Wahrscheinlichkeiten für typisierte Fragen statt Freitext liefert, verarbeitet in der EU.Cloudflare · 9B](https://inference.eu/de/modelle/clef-flash/)
-   [EuroLLM 22B InstructEuroLLM 22B Instruct, das europäische KI-Modell für alle 24 EU-Amtssprachen, auf inference.eu nutzen: OpenAI-kompatible API, Verarbeitung in der EU.UTTER project (Instituto Superior Técnico, Unbabel, University of Edinburgh and partners) · 22.6B](https://inference.eu/de/modelle/eurollm-22b-instruct/)
-   [Gemini 3.8 FlashGemini 3.8 Flash von Google auf inference.eu nutzen: schnelles Modell mit 1 Mio. Tokens Kontext, Verarbeitung in der EU, kein Training mit Ihren Daten.Google DeepMind](https://inference.eu/de/modelle/gemini-3-8-flash/)
-   [Llama 3.3 70B InstructLlama 3.3 70B Instruct von Meta über eine OpenAI-kompatible API auf inference.eu nutzen: Verarbeitung in Rechenzentren in der EU, Abrechnung in Euro.Meta · 70B](https://inference.eu/de/modelle/llama-3-3-70b-instruct/)
-   [Mistral Small 4 119BMistral Small 4 119B vom französischen KI-Labor Mistral AI auf inference.eu: Reasoning, Bilder und Code in einem Modell, Verarbeitung in der EU.Mistral AI · 119B](https://inference.eu/de/modelle/mistral-small-4-119b/)
-   [Qwen3 235B A22B InstructQwen3 235B A22B Instruct (2507) auf inference.eu: offenes KI-Modell mit 256K Kontext, OpenAI-kompatible API, Verarbeitung in Rechenzentren in der EU.Qwen (Alibaba Cloud) · 235B](https://inference.eu/de/modelle/qwen3-235b-a22b-instruct/)
-   [Teuken 7B InstructTeuken 7B Instruct, das deutsche KI-Modell aus OpenGPT-X für alle 24 EU-Amtssprachen, auf inference.eu über eine OpenAI-kompatible API nutzen.OpenGPT-X (Fraunhofer, Forschungszentrum Jülich, TU Dresden, DFKI) · 7B](https://inference.eu/de/modelle/teuken-7b-instruct/)

### Reranking

-   [BGE Reranker v2 M3bge-reranker-v2-m3 auf inference.eu: schlanker mehrsprachiger Reranker, der Such- und RAG-Ergebnisse nach Relevanz sortiert, verarbeitet in der EU.BAAI (Beijing Academy of Artificial Intelligence) · 568M](https://inference.eu/de/modelle/bge-reranker-v2-m3/)

### Embeddings

-   [BGE-M3bge-m3 auf inference.eu: kompaktes mehrsprachiges Embedding-Modell für Suche und RAG, über 100 Sprachen und 8192 Tokens, verarbeitet in der EU.BAAI (Beijing Academy of Artificial Intelligence) · 568M](https://inference.eu/de/modelle/bge-m3/)
-   [multilingual-e5-large-instructmultilingual-e5-large-instruct auf inference.eu: kompakte Embeddings in 100 Sprachen für Suche, RAG und Klassifizierung, verarbeitet in der EU.Microsoft (intfloat) · 560M](https://inference.eu/de/modelle/multilingual-e5-large-instruct/)
-   [Qwen3 Embedding 8BQwen3 Embedding 8B auf inference.eu: mehrsprachige Embeddings für Suche und RAG, bis 4096 Dimensionen und 32K Tokens, verarbeitet in der EU.Qwen (Alibaba Cloud) · 8B](https://inference.eu/de/modelle/qwen3-embedding-8b/)

### Reasoning

-   [Claude Opus 5Claude Opus 5 von Anthropic auf inference.eu nutzen: Verarbeitung in Rechenzentren in der EU, ein Auftragsverarbeitungsvertrag, kein Training mit Ihren Daten.Anthropic](https://inference.eu/de/modelle/claude-opus-5/)
-   [DeepSeek V4 FlashDeepSeek V4 Flash (0731) auf inference.eu: offenes Reasoning-Modell mit 1 Mio. Tokens Kontext, OpenAI-kompatible API, Verarbeitung in der EU statt in China.DeepSeek · 284B](https://inference.eu/de/modelle/deepseek-v4-flash/)
-   [DeepSeek V4.1 Flash (1017)DeepSeek V4.1 Flash (1017) auf inference.eu: multimodales Reasoning-Modell mit 1 Mio. Tokens Kontext, OpenAI-kompatibel, verarbeitet in der EU statt in China.DeepSeek · 552B](https://inference.eu/de/modelle/deepseek-v4-1-flash-1017/)
-   [Gemini 4 ArgonGemini 4 Argon von Google auf inference.eu nutzen: Verarbeitung in Rechenzentren in der EU, ein Auftragsverarbeitungsvertrag, kein Training mit Ihren Daten.Google DeepMind](https://inference.eu/de/modelle/gemini-4-argon/)
-   [GLM-5.3GLM-5.3 von Z.ai, ein offenes KI-Modell für komplexes Programmieren und lange Agentenaufgaben, auf inference.eu mit OpenAI- und Anthropic-API, verarbeitet in der EU.Z.ai (Zhipu AI) · 753B](https://inference.eu/de/modelle/glm-5-3/)
-   [GLM-5.3-FlashGLM-5.3-Flash von Z.ai auf inference.eu: multimodales offenes KI-Modell, 18B aktive Parameter, 1 Mio. Tokens Kontext, OpenAI-kompatibel, in der EU verarbeitet.Z.ai (Zhipu AI) · 320B](https://inference.eu/de/modelle/glm-5-3-flash/)
-   [gpt-oss-120bOpenAIs offenes Reasoning-Modell gpt-oss-120b auf inference.eu: OpenAI-API-Format, Verarbeitung in Rechenzentren in der EU, Abrechnung in Euro.OpenAI · 117B](https://inference.eu/de/modelle/gpt-oss-120b/)
-   [gpt-oss-20bOpenAIs kompaktes Open-Weight-Reasoning-Modell gpt-oss-20b auf inference.eu: OpenAI-API-Format, Verarbeitung in Rechenzentren in der EU, Abrechnung in Euro.OpenAI · 21B](https://inference.eu/de/modelle/gpt-oss-20b/)
-   [Kimi K2.6Kimi K2.6 von Moonshot AI auf inference.eu: offenes agentisches KI-Modell mit 1 Billion Parametern, Bildeingabe und 256K Kontext, verarbeitet in der EU.Moonshot AI · 1T](https://inference.eu/de/modelle/kimi-k2-6/)
-   [Kimi K3Kimi K3 von Moonshot AI, offenes KI-Modell mit 2,8 Billionen Parametern, 1 Mio. Tokens Kontext sowie Bild- und Videoeingabe, auf inference.eu in der EU nutzen.Moonshot AI · 2.8T](https://inference.eu/de/modelle/kimi-k3/)
-   [Magistral Small 1.2Magistral Small 1.2, das offene 24B-Reasoning-Modell von Mistral AI, auf inference.eu über eine OpenAI-kompatible API nutzen, verarbeitet in der EU.Mistral AI · 24B](https://inference.eu/de/modelle/magistral-small/)
-   [MiniMax M3MiniMax M3 auf inference.eu: offenes multimodales KI-Modell mit 1 Mio. Tokens Kontext für Programmierung und Agenten, OpenAI-kompatibel, in der EU verarbeitet.MiniMax · 428B](https://inference.eu/de/modelle/minimax-m3/)
-   [Qwen3.8 27BQwen3.8 27B auf inference.eu: dichtes offenes KI-Modell mit Bild- und Videoeingabe, einstellbarem Reasoning und 256K Kontext, OpenAI-kompatibel, in der EU.Qwen (Alibaba Cloud) · 27B](https://inference.eu/de/modelle/qwen3-8-27b/)

### OCR und Dokumente

-   [DeepSeek-OCR 2DeepSeek-OCR 2 auf inference.eu: offenes 3B-OCR-Modell, das Scans und PDFs in Markdown umwandelt, verarbeitet in Rechenzentren in der EU, nicht in China.DeepSeek · 3B](https://inference.eu/de/modelle/deepseek-ocr-2/)

### Code

-   [Devstral Small 2Devstral Small 2, das offene 24B-Coding-Modell von Mistral AI, auf inference.eu: OpenAI- und Anthropic-API, Verarbeitung in Rechenzentren in der EU.Mistral AI · 24B](https://inference.eu/de/modelle/devstral-small-2/)
-   [Qwen3.6 27BQwen3.6 27B auf inference.eu: dichtes offenes KI-Modell für agentisches Programmieren mit Bildeingabe und 256K Kontext, OpenAI-kompatibel, in der EU verarbeitet.Qwen (Alibaba Cloud) · 27B](https://inference.eu/de/modelle/qwen3-6-27b/)
-   [Qwen3.6 35B A3BQwen3.6 35B A3B auf inference.eu: schnelles Mixture-of-Experts-Modell mit 3B aktiven Parametern, Bildeingabe und 256K Kontext, verarbeitet in der EU.Qwen (Alibaba Cloud) · 35B](https://inference.eu/de/modelle/qwen3-6-35b-a3b/)

### Vision

-   [Gemma 4 26B A4BGoogles Gemma 4 26B A4B auf inference.eu: schnelles Mixture-of-Experts-Modell mit Bildeingabe und 256K Kontext, Verarbeitung in Rechenzentren in der EU.Google DeepMind · 25.2B](https://inference.eu/de/modelle/gemma-4-26b-a4b/)
-   [Gemma 4 31BGoogles Gemma 4 31B auf inference.eu: offenes multimodales KI-Modell mit 256K Kontext, OpenAI-kompatible API, Verarbeitung in Rechenzentren in der EU.Google DeepMind · 30.7B](https://inference.eu/de/modelle/gemma-4-31b/)

### Spracherkennung

-   [Voxtral Small 24BAudio transkribieren und verstehen mit Voxtral Small 24B von Mistral AI auf inference.eu: OpenAI-kompatible API, Verarbeitung in Rechenzentren in der EU.Mistral AI · 24B](https://inference.eu/de/modelle/voxtral-small-24b/)
-   [Whisper Large V3 TurboAudio transkribieren mit OpenAIs offenem Whisper Large V3 Turbo auf inference.eu: Format der OpenAI-Transkriptions-API, Verarbeitung in der EU.OpenAI · 809M](https://inference.eu/de/modelle/whisper-large-v3-turbo/)

## Von OpenAI wechseln, indem Sie eine Zeile ändern

Die API nutzt das Anfrageformat von OpenAI, Ihre SDKs und Frameworks funktionieren also wie bisher. Ändern Sie Base-URL und Schlüssel und vergleichen Sie Modelle mit Ihren eigenen Prompts.

```
from openai import OpenAI

client = OpenAI(
    base_url="https://api.inference.eu/v1",
    api_key="INFERENCE_EU_API_KEY",
)

response = client.chat.completions.create(
    model="mistral-small-4-119b",
    messages=[{"role": "user", "content": "Summarise this contract in three bullet points"}],
)
print(response.choices[0].message.content)
```

```
import OpenAI from "openai"

const client = new OpenAI({
  baseURL: "https://api.inference.eu/v1",
  apiKey: process.env.INFERENCE_EU_API_KEY,
})

const response = await client.chat.completions.create({
  model: "mistral-small-4-119b",
  messages: [{ role: "user", content: "Summarise this contract in three bullet points" }],
})
console.log(response.choices[0].message.content)
```

```
curl https://api.inference.eu/v1/chat/completions \
  -H "Authorization: Bearer $INFERENCE_EU_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-small-4-119b",
    "messages": [{"role": "user", "content": "Summarise this contract in three bullet points"}]
  }'
```

## Wofür Teams die API nutzen

-   ### KI-Funktionen in SaaS-Produkten

    Bauen Sie Chat, Zusammenfassungen oder Suche in Ihr Produkt ein, ohne die Daten Ihrer Kunden aus der EU zu geben.

-   ### Suche in internen Dokumenten

    Betten Sie Verträge, Tickets und Wikis ein und beantworten Sie Fragen dazu per Retrieval-Augmented Generation.

-   ### Weg vom US-KI-Anbieter

    Behalten Sie Prompts und Code, richten Sie sie auf einen EU-Endpunkt und vergleichen Sie die Qualität Modell für Modell.

-   ### Agenten und Coding-Tools

    Betreiben Sie Coding-Assistenten und Agenten mit Open-Weight-Modellen in der EU, im OpenAI- oder im Anthropic-Format.

## Modelle: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Open-Weight-Modelle für Chat, Reasoning, Code, Embeddings, Reranking, Sprache und Bilder, von europäischen und internationalen Herstellern. Jede Modellseite nennt Hersteller, Lizenz, Kontextlänge und die Modell-ID für Ihre Anfragen. Neue Open-Weight-Modelle kommen hinter denselben Endpunkt, sodass Sie sie ohne weitere Änderungen testen können.

Nein. Wenn Sie ein OpenAI-SDK oder ein darauf aufbauendes Framework nutzen, ändern Sie Base-URL und API-Schlüssel. Prompts, Tools und Streaming funktionieren wie bisher, und das Modell wählen Sie wie gewohnt über seinen Namen in der Anfrage.

Ja. Die API nimmt auch Anfragen im Anthropic-Messages-Format an. Clients und SDKs, die für Claude geschrieben wurden, funktionieren unverändert, mit Claude selbst oder jedem Open-Weight-Modell in der EU. Tragen Sie Base-URL und Schlüssel im Client ein und wählen Sie ein Modell über seinen Namen.

Nein. Anfragen werden verarbeitet, um Ihre Antwort zu erzeugen, und für kein Modelltraining verwendet. Diese Zusage steht auch im Auftragsverarbeitungsvertrag, den Sie mit uns schließen. Sie ist also eine vertragliche Pflicht und nicht nur ein Satz auf einer Webseite.

In Rechenzentren in der Europäischen Union. Fällt ein Standort aus, wird der Verkehr an einen anderen europäischen Standort umgeleitet, nicht in eine Region außerhalb der EU. Die Liste der Standorte und Unterauftragsverarbeiter erhalten Sie mit dem Auftragsverarbeitungsvertrag.

Ob Ihr Einsatz DSGVO-konform ist, hängt von Ihren Daten und Zwecken ab, und das bewerten Sie selbst. Wir liefern dafür alles, was Ihr Datenschutzbeauftragter braucht: Verarbeitung in der EU, einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, eine vollständige Liste der Unterauftragsverarbeiter und die vertragliche Zusage, nicht mit Ihren Daten zu trainieren.

Ihre Anfragen bleiben in europäischen Rechenzentren, statt in die USA zu gehen. Sie nutzen Open-Weight-Modelle mit öffentlichen Gewichten und sind damit nie an das Modell eines einzelnen KI-Anbieters gebunden. Abgerechnet wird in Euro, und für alle Modelle gilt derselbe Auftragsverarbeitungsvertrag.

Sie zahlen nach Nutzung, bei Sprachmodellen gemessen in Tokens, und erhalten eine Rechnung in Euro für alle Modelle und alle API-Schlüssel Ihres Workspace. Einen eigenen Vertrag oder ein eigenes Konto bei jedem Modellhersteller brauchen Sie nicht.

Ja. Embedding-Modelle wandeln Ihre Dokumente in Vektoren für einen Suchindex um, Rerank-Modelle sortieren die gefundenen Passagen nach Relevanz, bevor sie ein Chatmodell erreichen. Beides läuft über dieselbe API und denselben Schlüssel. So bleibt die gesamte Retrieval-Pipeline in der EU.

Ja. Speech-to-Text-Modelle transkribieren Audiodateien, Text-to-Speech-Modelle lesen Texte vor, und Bildmodelle erzeugen Bilder aus einer Textbeschreibung. Alle nutzen denselben Schlüssel und dieselbe Rechnung wie die Sprachmodelle. Für Audio oder Bilder brauchen Sie also keinen zweiten Anbieter.

Bei einem Open-Weight-Modell sind die trainierten Gewichte veröffentlicht, sodass jeder es betreiben kann, oft unter einer Lizenz mit Bedingungen. Open Source im engeren Sinn umfasst auch Trainingscode und Trainingsdaten. Jede Modellseite verlinkt die Lizenz, damit Sie prüfen können, welche kommerzielle Nutzung erlaubt ist.

Beginnen Sie mit einem einzelnen Anwendungsfall. Richten Sie Ihren Code auf die EU-Base-URL, wählen Sie ein Open-Weight-Modell ähnlicher Größe und vergleichen Sie die Ergebnisse mit Ihren eigenen Testprompts. Rechnen Sie damit, ein, zwei Prompts anzupassen, und verlagern Sie danach den restlichen Verkehr.

Ja, auf einem dedizierten GPU-Server, den Sie stundenweise in einem europäischen Rechenzentrum mieten. Dort stellen Sie Ihre eigenen Gewichte hinter einem Endpunkt bereit, den Sie selbst kontrollieren. Die Stunden erscheinen auf derselben Rechnung in Euro wie Ihre API-Nutzung.

[Frage stellen](https://inference.eu/de/kontakt/)

## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

-   Antwort innerhalb eines Werktags
-   Preise für Ihr Volumen
-   AV-Vertrag unterschriftsreif