LiteLLM mit Open-Source-Modellen aus der EU nutzen

LiteLLM besteht aus zwei Teilen. Das Python-SDK ruft über eine einzige Funktion completion() mehr als hundert Anbieter auf. Der Proxy-Server, oft LiteLLM AI Gateway genannt, stellt Ihren Teams eine OpenAI-kompatible API bereit und ergänzt die konfigurierten Anbieter um virtuelle Schlüssel, Kostenerfassung, Ratenlimits, Ausweichmodelle, Guardrails und Logging.

Viele Unternehmen betreiben den Proxy als zentrales Gateway, damit Coding-Agenten, Chat-Oberflächen und interne Anwendungen denselben Endpunkt nutzen. Mit inference.eu als Anbieter in diesem Gateway stehen allen Clients Open-Weight-Modelle aus der EU zur Verfügung, ohne jeden einzeln umzustellen.

In der config.yaml des Proxys ordnet jeder Eintrag in model_list einem öffentlichen model_name eine Route zu. Das Präfix openai/ in litellm_params.model weist LiteLLM an, einen OpenAI-kompatiblen Endpunkt für Chat Completions aufzurufen; der Rest ist die Modell-ID von inference.eu. api_base ist die Basis-URL mit Endung /v1, os.environ/INFERENCE_EU_API_KEY liest den Schlüssel aus der Umgebung.

Im Python-SDK lautet dieselbe Route litellm.completion(model="openai/gpt-oss-120b", api_base=..., api_key=...). Clients des Proxys sehen nur model_name. Sie können das zugrunde liegende Modell von inference.eu also wechseln, ohne deren Konfiguration anzufassen.

Stellen Sie die Modelle, die Ihre Teams brauchen, unter klaren Namen bereit. qwen3-coder-480b-a35b-instruct passt zu Coding-Agenten und IDE-Integrationen, die über das Gateway laufen. glm-5.3 und kimi-k3 sind starke allgemeine Modelle für Agenten und lange Dokumente, gpt-oss-120b ist ein schneller Standard für Chat, Zusammenfassungen und interne Werkzeuge mit hohem Volumen.

LiteLLM kann mehrere Einträge unter einem model_name zur Lastverteilung bündeln oder Ausweichmodelle zwischen Namen festlegen. Halten Sie Ausweichmodelle innerhalb von inference.eu, etwa von kimi-k3 auf glm-5.3. So gelangen bei einer Wiederholung keine Daten zu einem Anbieter außerhalb der EU.

Ein 404 Not Found auf der Route bedeutet meist, dass api_base das Suffix /v1 fehlt oder zusätzliche Pfadteile enthält; LiteLLM hängt /chat/completions selbst an. Ein 401 bedeutet, dass der Proxy-Prozess INFERENCE_EU_API_KEY nicht kennt. Das passiert oft in Docker, wenn die Variable nicht übergeben wird.

„LLM Provider NOT provided“ heißt, dass das Präfix openai/ in litellm_params.model fehlt. Wirken Tool-Aufrufe oder Token-Angaben beim Streaming fehlerhaft, aktualisieren Sie LiteLLM, da Kompatibilitätskorrekturen häufig erscheinen. Prüfen Sie, ob die Modell-ID nach dem Präfix exakt stimmt, und testen Sie die Route über den Endpunkt /health des Proxys.

Anfragen, die an inference.eu gehen, werden in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Das Gateway selbst sieht jeden Prompt, daher zählt sein Standort. Betreiben Sie den Proxy in der EU und prüfen Sie seine Logging-Callbacks: Integrationen, die Traces oder Prompts an Observability-Dienste senden, speichern diese nach eigenen Bedingungen. Entfernen Sie Anbieter außerhalb der EU aus der Modellliste oder beschränken Sie sie über Teamrechte, wenn Ihre Richtlinien das verlangen.