LibreChat mit Open-Source-Modellen aus der EU nutzen

LibreChat ist eine quelloffene, selbst gehostete Chat-Anwendung. Neben Gesprächen mit vielen Modellanbietern bietet sie Agenten mit Tools und Dateisuche, Unterstützung für MCP-Server, einen Code-Interpreter, verzweigte Unterhaltungen, Vorlagen und Unternehmensanmeldung über OAuth, OpenID Connect oder LDAP. Organisationen nutzen sie als zentralen Assistenten unter eigener Kontrolle.

Anbieter werden in der librechat.yaml konfiguriert. Die Liste endpoints.custom akzeptiert jede API im OpenAI-Format, Einträge mit provider: anthropic sprechen das Format Anthropic Messages. inference.eu funktioniert mit beiden und erscheint für Benutzer als weiterer Endpunkt im Modellmenü.

Jeder Custom Endpoint braucht name, apiKey und baseURL. Verweisen Sie auf den Schlüssel mit ${INFERENCE_EU_API_KEY}, damit er in der .env bleibt, und setzen Sie baseURL auf die Basis-URL von inference.eu mit Endung /v1. Unter models nennt default die Modelle, die Benutzer immer sehen, fetch: true lädt die vollständige Liste über die API.

titleConvo und titleModel steuern automatische Gesprächstitel; nutzen Sie ein schnelles Modell, damit Titel den Chat nicht bremsen. modelDisplayLabel legt den Namen neben den Antworten fest. Unter Docker muss librechat.yaml in den Container eingebunden sein, meist über docker-compose.override.yml, sonst ignoriert LibreChat die Datei.

Für allgemeinen Chat, Entwürfe und Zusammenfassungen ist gpt-oss-120b ein schneller Standard und ein gutes Modell für Titel. Für lange Dokumente, Dateisuche und Fragen mit sorgfältigem Schlussfolgern bieten Sie glm-5.3 und kimi-k3 an. Teams, die mit Code arbeiten, profitieren von qwen3-coder-480b-a35b-instruct.

LibreChat-Agenten rufen Tools auf, durchsuchen Dateien und nutzen MCP-Server. Weisen Sie ihnen daher ein Modell mit verlässlichen Tool-Aufrufen zu, etwa kimi-k3 oder glm-5.3. Über Model Specs veröffentlichen Administratoren kuratierte Vorlagen, zum Beispiel einen Assistenten zur Vertragsprüfung auf glm-5.3, sodass Benutzer kein Modell selbst wählen müssen.

Erscheint der Endpunkt nicht, hat LibreChat die librechat.yaml nicht geladen. Prüfen Sie die Einbindung und die Logs auf Validierungsfehler. Ein 401 bedeutet, dass INFERENCE_EU_API_KEY in der .env fehlt oder der Container nach dem Eintragen nicht neu gestartet wurde. Ein 404 entsteht meist, wenn baseURL das /v1 fehlt.

Ist die Modellliste leer, prüfen Sie fetch: true oder tragen Sie Modelle unter default ein. Scheitert eine Anfrage mit 400 wegen eines nicht unterstützten Parameters, ergänzen Sie diesen in dropParams. Rufen Agenten keine Tools auf, wählen Sie für den Agenten ein Modell mit stärkeren Tool-Aufrufen.

Mit inference.eu als Endpunkt werden alle Nachrichten, Dateiauszüge und Tool-Ergebnisse, die an das Modell gehen, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

LibreChat speichert Gespräche, Dateien und Benutzer in seiner eigenen MongoDB-Datenbank und seinem Dateispeicher. Hosten Sie beides in der EU. Funktionen wie Embeddings für die Dateisuche, Websuche, Sprache und Bildgenerierung nutzen eigens konfigurierte Anbieter. Wählen Sie dafür in der EU gehostete Optionen und entfernen Sie Endpunkte, die Benutzer nicht erreichen sollen.