--- title: "LibreChat mit KI-Modellen aus der EU einrichten" description: "Tragen Sie inference.eu als Custom Endpoint in die librechat.yaml ein und bieten Sie einen selbst gehosteten Chat mit Agenten und Open-Weight-Modellen aus der EU." canonical: "https://inference.eu/de/integrationen/librechat/" language: "de" --- Chat-Apps · LibreChat # LibreChat mit Open-Source-Modellen aus der EU nutzen LibreChat ist eine quelloffene Chat-Plattform mit Agenten, Dateisuche, Codeausführung und Single Sign-on. Tragen Sie inference.eu als Custom Endpoint in die librechat.yaml ein, und Ihre Benutzer chatten mit Open-Weight-Modellen aus europäischen Rechenzentren, in einer Anwendung, die Sie selbst betreiben. [Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Einrichtung](#setup) 1. 01API-Format: OpenAI und Anthropic 2. 02Rechenzentren in der EU 3. 03Durch einen AV-Vertrag abgedeckt ## In wenigen Minuten eingerichtet 1. 1 Erstellen Sie in Ihrem inference.eu-Konto einen API-Schlüssel und tragen Sie `INFERENCE_EU_API_KEY=` in die `.env`\-Datei von LibreChat ein. 2. 2 Öffnen Sie `librechat.yaml` und legen Sie unter `endpoints.custom` einen Eintrag namens `inference-eu` an. 3. 3 Setzen Sie `baseURL` auf die Basis-URL von inference.eu, `apiKey` auf `${INFERENCE_EU_API_KEY}` und listen Sie Standardmodelle bei aktiviertem `fetch` auf. 4. 4 Stellen Sie sicher, dass `librechat.yaml` in den Container eingebunden ist, und starten Sie LibreChat neu. 5. 5 Wählen Sie im Modellmenü den Endpunkt von inference.eu und beginnen Sie ein Gespräch zur Prüfung. librechat.yaml ``` endpoints: custom: - name: "inference-eu" apiKey: "${INFERENCE_EU_API_KEY}" baseURL: "https://api.inference.eu/v1" models: default: ["gpt-oss-120b", "glm-5.3", "kimi-k3", "qwen3-coder-480b-a35b-instruct"] fetch: true titleConvo: true titleModel: "gpt-oss-120b" modelDisplayLabel: "inference.eu" ``` ## Was LibreChat ist LibreChat ist eine quelloffene, selbst gehostete Chat-Anwendung. Neben Gesprächen mit vielen Modellanbietern bietet sie Agenten mit Tools und Dateisuche, Unterstützung für MCP-Server, einen Code-Interpreter, verzweigte Unterhaltungen, Vorlagen und Unternehmensanmeldung über OAuth, OpenID Connect oder LDAP. Organisationen nutzen sie als zentralen Assistenten unter eigener Kontrolle. Anbieter werden in der `librechat.yaml` konfiguriert. Die Liste `endpoints.custom` akzeptiert jede API im OpenAI-Format, Einträge mit `provider: anthropic` sprechen das Format Anthropic Messages. inference.eu funktioniert mit beiden und erscheint für Benutzer als weiterer Endpunkt im Modellmenü. ## So funktioniert die Konfiguration Jeder Custom Endpoint braucht `name`, `apiKey` und `baseURL`. Verweisen Sie auf den Schlüssel mit `${INFERENCE_EU_API_KEY}`, damit er in der `.env` bleibt, und setzen Sie `baseURL` auf die Basis-URL von inference.eu mit Endung `/v1`. Unter `models` nennt `default` die Modelle, die Benutzer immer sehen, `fetch: true` lädt die vollständige Liste über die API. `titleConvo` und `titleModel` steuern automatische Gesprächstitel; nutzen Sie ein schnelles Modell, damit Titel den Chat nicht bremsen. `modelDisplayLabel` legt den Namen neben den Antworten fest. Unter Docker muss `librechat.yaml` in den Container eingebunden sein, meist über `docker-compose.override.yml`, sonst ignoriert LibreChat die Datei. ## Welche Modelle sich eignen Für allgemeinen Chat, Entwürfe und Zusammenfassungen ist `gpt-oss-120b` ein schneller Standard und ein gutes Modell für Titel. Für lange Dokumente, Dateisuche und Fragen mit sorgfältigem Schlussfolgern bieten Sie `glm-5.3` und `kimi-k3` an. Teams, die mit Code arbeiten, profitieren von `qwen3-coder-480b-a35b-instruct`. LibreChat-Agenten rufen Tools auf, durchsuchen Dateien und nutzen MCP-Server. Weisen Sie ihnen daher ein Modell mit verlässlichen Tool-Aufrufen zu, etwa `kimi-k3` oder `glm-5.3`. Über Model Specs veröffentlichen Administratoren kuratierte Vorlagen, zum Beispiel einen Assistenten zur Vertragsprüfung auf `glm-5.3`, sodass Benutzer kein Modell selbst wählen müssen. ## Fehlerbehebung Erscheint der Endpunkt nicht, hat LibreChat die `librechat.yaml` nicht geladen. Prüfen Sie die Einbindung und die Logs auf Validierungsfehler. Ein 401 bedeutet, dass `INFERENCE_EU_API_KEY` in der `.env` fehlt oder der Container nach dem Eintragen nicht neu gestartet wurde. Ein 404 entsteht meist, wenn `baseURL` das `/v1` fehlt. Ist die Modellliste leer, prüfen Sie `fetch: true` oder tragen Sie Modelle unter `default` ein. Scheitert eine Anfrage mit 400 wegen eines nicht unterstützten Parameters, ergänzen Sie diesen in `dropParams`. Rufen Agenten keine Tools auf, wählen Sie für den Agenten ein Modell mit stärkeren Tool-Aufrufen. ## Daten bleiben in der EU Mit inference.eu als Endpunkt werden alle Nachrichten, Dateiauszüge und Tool-Ergebnisse, die an das Modell gehen, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab. LibreChat speichert Gespräche, Dateien und Benutzer in seiner eigenen MongoDB-Datenbank und seinem Dateispeicher. Hosten Sie beides in der EU. Funktionen wie Embeddings für die Dateisuche, Websuche, Sprache und Bildgenerierung nutzen eigens konfigurierte Anbieter. Wählen Sie dafür in der EU gehostete Optionen und entfernen Sie Endpunkte, die Benutzer nicht erreichen sollen. ## LibreChat Kategorie Chat-Apps Anbieter LibreChat API-Format OpenAI und Anthropic Verarbeitung Rechenzentren in der EU Website [www.librechat.ai](https://www.librechat.ai/) Dokumentation [www.librechat.ai](https://www.librechat.ai/docs/configuration/librechat_yaml/object_structure/custom_endpoint) ## LibreChat: häufige Fragen Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt. Legen Sie in der \`librechat.yaml\` unter \`endpoints.custom\` einen Eintrag mit \`name\`, \`apiKey\`, \`baseURL\` und \`models\` an. Verweisen Sie mit \`${VARIABLE}\` auf den Schlüssel in der \`.env\`, starten Sie LibreChat neu, und der Endpunkt erscheint im Modellmenü. Ja. Ergänzen Sie den Custom Endpoint um \`provider: anthropic\` und setzen Sie \`baseURL\` auf den Host von inference.eu ohne abschließendes \`/v1\`. Das OpenAI-Format ist der einfachere Standard, beide erreichen dieselben Modelle. LibreChat hat die \`librechat.yaml\` nicht geladen, oder die Datei enthält einen Validierungsfehler. Binden Sie die Datei unter Docker über \`docker-compose.override.yml\` ein und prüfen Sie die Startlogs, die das fehlerhafte Feld nennen. gpt-oss-120b ist ein schneller Standard für den Chat im Alltag und für Gesprächstitel. GLM-5.3 und Kimi K3 eignen sich für lange Dokumente, Dateisuche und Agenten, Qwen3 Coder 480B für Teams mit Programmierfragen. Ja. Agenten können Custom Endpoints nutzen, auch inference.eu. Wählen Sie ein Modell mit verlässlichen Tool-Aufrufen wie Kimi K3 oder GLM-5.3, damit Dateisuche, MCP-Tools und Aktionen im Gespräch zuverlässig aufgerufen werden. Mit \`apiKey: "user\_provided"\` gibt jeder Benutzer seinen eigenen Schlüssel ein. Für Organisationen ist ein gemeinsamer Schlüssel in der \`.env\` einfacher zu verwalten. Die Benutzerkonten und Guthaben von LibreChat steuern dann, wer ihn nutzen darf. LibreChat sendet standardmäßig einige optionale Parameter. Lehnt ein Modell einen davon ab, tragen Sie ihn beim Endpunkt von inference.eu unter \`dropParams\` ein, etwa \`\["user"\]\`, und starten Sie LibreChat neu, damit die Änderung greift. Setzen Sie \`titleConvo: true\` und \`titleModel\` auf ein schnelles Modell von inference.eu wie \`gpt-oss-120b\`. Die Titel erzeugt dann dieses Modell. So bleiben sie günstig und schnell, ohne das Modell zu beeinflussen, mit dem die Benutzer chatten. LibreChat speichert Gespräche in seiner eigenen Datenbank. Funktionen wie Embeddings für die Dateisuche, Websuche, Sprache und Bildgenerierung nutzen die dafür konfigurierten Anbieter. Wählen Sie in der EU gehostete Optionen, damit alle Daten in Europa bleiben. Ja. Entfernen Sie andere Anbieter aus \`librechat.yaml\` und \`.env\` und blenden Sie den Rest über die Einstellungen zu Endpunkten und Oberfläche aus. Model Specs mit \`enforce\` beschränken Benutzer auf die Vorlagen, die Sie veröffentlichen. [Frage stellen](https://inference.eu/de/kontakt/) ## Verwandte Seiten [Alle Integrationen](https://inference.eu/de/integrationen/) - [Open WebUIVerbinden Sie Open WebUI als OpenAI-kompatible Verbindung mit inference.eu und bieten Sie Ihrem Team einen selbst gehosteten Chat mit EU-Modellen.Chat-Apps](https://inference.eu/de/integrationen/open-webui/) - [AnythingLLMVerbinden Sie AnythingLLM über den Provider Generic OpenAI mit inference.eu und chatten Sie mit Ihren Dokumenten über Open-Weight-Modelle aus der EU.Chat-Apps](https://inference.eu/de/integrationen/anythingllm/) - [LiteLLMFügen Sie inference.eu mit dem Präfix openai/ zum LiteLLM-Proxy oder Python-SDK hinzu und leiten Sie Anfragen an Open-Weight-Modelle aus der EU.Gateways](https://inference.eu/de/integrationen/litellm/) ## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten. - Antwort innerhalb eines Werktags - Preise für Ihr Volumen - AV-Vertrag unterschriftsreif