--- title: "LiteLLM mit KI-Modellen aus der EU einrichten" description: "Fügen Sie inference.eu mit dem Präfix openai/ zum LiteLLM-Proxy oder Python-SDK hinzu und leiten Sie Anfragen an Open-Weight-Modelle aus der EU." canonical: "https://inference.eu/de/integrationen/litellm/" language: "de" --- Gateways · LiteLLM # LiteLLM mit Open-Source-Modellen aus der EU nutzen LiteLLM ist ein quelloffenes Gateway und Python-SDK, das viele Modellanbieter hinter einer API im OpenAI-Stil bündelt, mit virtuellen Schlüsseln, Budgets und Logging. Tragen Sie inference.eu in die Modellliste ein, und jede Anwendung hinter dem Gateway kann Open-Weight-Modelle aus europäischen Rechenzentren nutzen. [Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Einrichtung](#setup) 1. 01API-Format: OpenAI 2. 02Rechenzentren in der EU 3. 03Durch einen AV-Vertrag abgedeckt ## In wenigen Minuten eingerichtet 1. 1 Erstellen Sie in Ihrem inference.eu-Konto einen API-Schlüssel und setzen Sie `INFERENCE_EU_API_KEY` in der Umgebung des LiteLLM-Proxys. 2. 2 Legen Sie pro Modell einen Eintrag in `model_list` an, mit `model` auf `openai/` plus Modell-ID von inference.eu. 3. 3 Setzen Sie `api_base` auf die Basis-URL von inference.eu und `api_key` auf `os.environ/INFERENCE_EU_API_KEY`. 4. 4 Starten Sie den Proxy mit `litellm --config config.yaml`. 5. 5 Rufen Sie den Proxy mit dem öffentlichen `model_name` und einem LiteLLM-Schlüssel auf, um die Route zu prüfen. config.yaml ``` model_list: - model_name: qwen3-coder litellm_params: model: openai/qwen3-coder-480b-a35b-instruct api_base: https://api.inference.eu/v1 api_key: os.environ/INFERENCE_EU_API_KEY - model_name: glm-5.3 litellm_params: model: openai/glm-5.3 api_base: https://api.inference.eu/v1 api_key: os.environ/INFERENCE_EU_API_KEY - model_name: gpt-oss-120b litellm_params: model: openai/gpt-oss-120b api_base: https://api.inference.eu/v1 api_key: os.environ/INFERENCE_EU_API_KEY # Start with: litellm --config config.yaml ``` ## Was LiteLLM ist LiteLLM besteht aus zwei Teilen. Das Python-SDK ruft über eine einzige Funktion `completion()` mehr als hundert Anbieter auf. Der Proxy-Server, oft LiteLLM AI Gateway genannt, stellt Ihren Teams eine OpenAI-kompatible API bereit und ergänzt die konfigurierten Anbieter um virtuelle Schlüssel, Kostenerfassung, Ratenlimits, Ausweichmodelle, Guardrails und Logging. Viele Unternehmen betreiben den Proxy als zentrales Gateway, damit Coding-Agenten, Chat-Oberflächen und interne Anwendungen denselben Endpunkt nutzen. Mit inference.eu als Anbieter in diesem Gateway stehen allen Clients Open-Weight-Modelle aus der EU zur Verfügung, ohne jeden einzeln umzustellen. ## So funktioniert die Konfiguration In der `config.yaml` des Proxys ordnet jeder Eintrag in `model_list` einem öffentlichen `model_name` eine Route zu. Das Präfix `openai/` in `litellm_params.model` weist LiteLLM an, einen OpenAI-kompatiblen Endpunkt für Chat Completions aufzurufen; der Rest ist die Modell-ID von inference.eu. `api_base` ist die Basis-URL mit Endung `/v1`, `os.environ/INFERENCE_EU_API_KEY` liest den Schlüssel aus der Umgebung. Im Python-SDK lautet dieselbe Route `litellm.completion(model="openai/gpt-oss-120b", api_base=..., api_key=...)`. Clients des Proxys sehen nur `model_name`. Sie können das zugrunde liegende Modell von inference.eu also wechseln, ohne deren Konfiguration anzufassen. ## Welche Modelle sich eignen Stellen Sie die Modelle, die Ihre Teams brauchen, unter klaren Namen bereit. `qwen3-coder-480b-a35b-instruct` passt zu Coding-Agenten und IDE-Integrationen, die über das Gateway laufen. `glm-5.3` und `kimi-k3` sind starke allgemeine Modelle für Agenten und lange Dokumente, `gpt-oss-120b` ist ein schneller Standard für Chat, Zusammenfassungen und interne Werkzeuge mit hohem Volumen. LiteLLM kann mehrere Einträge unter einem `model_name` zur Lastverteilung bündeln oder Ausweichmodelle zwischen Namen festlegen. Halten Sie Ausweichmodelle innerhalb von inference.eu, etwa von `kimi-k3` auf `glm-5.3`. So gelangen bei einer Wiederholung keine Daten zu einem Anbieter außerhalb der EU. ## Fehlerbehebung Ein 404 Not Found auf der Route bedeutet meist, dass `api_base` das Suffix `/v1` fehlt oder zusätzliche Pfadteile enthält; LiteLLM hängt `/chat/completions` selbst an. Ein 401 bedeutet, dass der Proxy-Prozess `INFERENCE_EU_API_KEY` nicht kennt. Das passiert oft in Docker, wenn die Variable nicht übergeben wird. „LLM Provider NOT provided“ heißt, dass das Präfix `openai/` in `litellm_params.model` fehlt. Wirken Tool-Aufrufe oder Token-Angaben beim Streaming fehlerhaft, aktualisieren Sie LiteLLM, da Kompatibilitätskorrekturen häufig erscheinen. Prüfen Sie, ob die Modell-ID nach dem Präfix exakt stimmt, und testen Sie die Route über den Endpunkt `/health` des Proxys. ## Daten bleiben in der EU Anfragen, die an inference.eu gehen, werden in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab. Das Gateway selbst sieht jeden Prompt, daher zählt sein Standort. Betreiben Sie den Proxy in der EU und prüfen Sie seine Logging-Callbacks: Integrationen, die Traces oder Prompts an Observability-Dienste senden, speichern diese nach eigenen Bedingungen. Entfernen Sie Anbieter außerhalb der EU aus der Modellliste oder beschränken Sie sie über Teamrechte, wenn Ihre Richtlinien das verlangen. ## LiteLLM Kategorie Gateways Anbieter BerriAI API-Format OpenAI Verarbeitung Rechenzentren in der EU Website [www.litellm.ai](https://www.litellm.ai/) Dokumentation [docs.litellm.ai](https://docs.litellm.ai/docs/providers/openai_compatible) ## LiteLLM: häufige Fragen Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt. Legen Sie in \`model\_list\` einen Eintrag mit \`model\_name\` an und setzen Sie unter \`litellm\_params\` das Feld \`model\` auf \`openai/\` plus Modell-ID, \`api\_base\` auf die Basis-URL und \`api\_key\` auf den Schlüssel oder \`os.environ/VARIABLE\`. Starten Sie den Proxy neu. Das Präfix legt fest, welchen Anbieter-Adapter LiteLLM nutzt. \`openai/\` wählt die OpenAI-kompatible Route für Chat Completions. LiteLLM entfernt es vor dem Senden, inference.eu erhält also die reine Modell-ID, etwa \`glm-5.3\`. Meist fehlt in \`api\_base\` das \`/v1\` oder die URL enthält \`/chat/completions\`. Setzen Sie die Basis-URL von inference.eu mit Endung \`/v1\`; LiteLLM hängt den Pfad selbst an. Prüfen Sie danach, ob die Modell-ID nach \`openai/\` stimmt. Ja. Der LiteLLM-Proxy nimmt Anfragen im Anthropic-Format auf der Route \`/v1/messages\` an und leitet sie an das konfigurierte Modell weiter. Sie können Claude Code aber auch direkt auf inference.eu richten, das das Anthropic-Format selbst versteht, und das Gateway weglassen. Eine übliche Auswahl ist Qwen3 Coder 480B für Coding-Werkzeuge, GLM-5.3 oder Kimi K3 für Agenten und lange Dokumente und gpt-oss-120b für schnellen Chat und interne Werkzeuge. Geben Sie jedem Modell einen klaren \`model\_name\`, den Ihre Teams wiedererkennen. Ja. Legen Sie Ausweichmodelle in den Router-Einstellungen fest, etwa von \`kimi-k3\` auf \`glm-5.3\`. Bleiben die Ausweichmodelle innerhalb von inference.eu, gelangen bei einer Wiederholung keine Daten zu einem Anbieter außerhalb der EU. Schreiben Sie \`api\_key: os.environ/INFERENCE\_EU\_API\_KEY\` und setzen Sie die Variable in der Umgebung des Proxys, etwa als Docker- oder Kubernetes-Secret. LiteLLM löst den Wert beim Start auf und schreibt ihn nie in die Datei zurück. Ja. Rufen Sie \`litellm.completion(model="openai/", api\_base=..., api\_key=..., messages=\[...\])\` auf. Das eignet sich gut für Skripte und Notebooks, der Proxy dagegen für Teams, die gemeinsame Schlüssel, Budgets, Ratenlimits und zentrales Logging brauchen. LiteLLM erfasst den Token-Verbrauch pro Schlüssel, Team und Modell. Die angezeigten Kosten hängen von den Preisen ab, die Sie in den Modellinformationen hinterlegen. Die eigentliche Abrechnung erfolgt in Euro in Ihrem inference.eu-Konto, das maßgeblich ist. Der Proxy sieht jeden Prompt und jede Antwort, die er weiterleitet. Betreiben Sie ihn in der EU und prüfen Sie Logging-Callbacks und Observability-Integrationen, da diese Prompts anderswo speichern können. Die Modellverarbeitung bei inference.eu findet in EU-Rechenzentren statt. [Frage stellen](https://inference.eu/de/kontakt/) ## Verwandte Seiten [Alle Integrationen](https://inference.eu/de/integrationen/) - [OpenAI SDK (Python and JavaScript)Richten Sie das offizielle OpenAI-SDK für Python oder JavaScript per base\_url auf inference.eu aus und nutzen Sie Open-Weight-Modelle aus der EU.SDKs](https://inference.eu/de/integrationen/openai-sdk/) - [Open WebUIVerbinden Sie Open WebUI als OpenAI-kompatible Verbindung mit inference.eu und bieten Sie Ihrem Team einen selbst gehosteten Chat mit EU-Modellen.Chat-Apps](https://inference.eu/de/integrationen/open-webui/) - [LibreChatTragen Sie inference.eu als Custom Endpoint in die librechat.yaml ein und bieten Sie einen selbst gehosteten Chat mit Agenten und Open-Weight-Modellen aus der EU.Chat-Apps](https://inference.eu/de/integrationen/librechat/) - [Claude CodeSo betreiben Sie Claude Code über ANTHROPIC\_BASE\_URL mit Open-Weight-Modellen, die in EU-Rechenzentren verarbeitet werden. Ohne Konto bei Anthropic.Coding-Agenten](https://inference.eu/de/integrationen/claude-code/) ## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten. - Antwort innerhalb eines Werktags - Preise für Ihr Volumen - AV-Vertrag unterschriftsreif