Open WebUI mit Open-Source-Modellen aus der EU nutzen

Open WebUI ist eine quelloffene Weboberfläche für Sprachmodelle, die Sie selbst betreiben, meist mit Docker oder Kubernetes. Sie bietet ein Chat-Erlebnis wie kommerzielle Assistenten und dazu Benutzerverwaltung mit Rollen und Gruppen, Dokumenten-Upload und Wissensdatenbanken, Websuche, Tools, Prompts sowie Modellvorlagen, die Administratoren im Unternehmen teilen können.

Modelle bindet Open WebUI über OpenAI-kompatible Verbindungen an. Sie können beliebig viele Verbindungen anlegen, jede mit eigener URL, eigenem Schlüssel und eigener Modellliste. inference.eu ist eine dieser Verbindungen; die Modelle erscheinen dann in der Modellauswahl der Benutzer und Gruppen, die Sie freigeben.

Legen Sie unter Settings > Admin > Connections eine Verbindung mit der Basis-URL von inference.eu mit Endung /v1 und Ihrem API-Schlüssel an. Open WebUI ruft /models auf, um die verfügbaren Modelle zu ermitteln; mit Model IDs schränken Sie die Liste ein. Jede Verbindung lässt sich aktivieren oder deaktivieren, ohne ihre Einstellungen zu verlieren.

Für automatisierte Deployments setzen Sie OPENAI_API_BASE_URLS und OPENAI_API_KEYS als Umgebungsvariablen und trennen mehrere Verbindungen in gleicher Reihenfolge mit Semikolons. Open WebUI speichert diese Werte beim ersten Start in seiner Datenbank. Danach haben Änderungen im Admin-Bereich Vorrang, sofern Sie die persistente Konfiguration nicht abschalten.

Für allgemeinen Chat, Texte und Zusammenfassungen liefert gpt-oss-120b schnelle Antworten, die die Oberfläche flüssig halten. Für Dokumenten-Chat mit langen Dateien und Fragen, die sorgfältiges Schlussfolgern brauchen, sind glm-5.3 und kimi-k3 starke Optionen. Teams mit Programmierfragen profitieren von qwen3-coder-480b-a35b-instruct.

Administratoren können darauf Arbeitsbereichsmodelle mit System-Prompt, verknüpftem Wissen und Tools aufbauen und mit bestimmten Gruppen teilen. Stellen Sie bei Modellen mit verlässlichen Tool-Aufrufen den Function-Calling-Modus auf nativ. Dann laufen Tools über die Tool-Aufrufe des Modells statt über eine Erkennung per Prompt.

Scheitert Verify Connection mit 401, ist der Schlüssel falsch oder enthält ein Leerzeichen am Ende. Ein 404 bedeutet meist, dass der URL /v1 fehlt oder ein Pfad zu viel enthalten ist. Erscheinen keine Modelle, prüfen Sie den Filter Model IDs und ob die Verbindung aktiv ist.

Wirkt eine geänderte OPENAI_API_BASE_URLS nach dem Neustart nicht, nutzt Open WebUI den in der Datenbank gespeicherten Wert. Ändern Sie die Verbindung dann im Admin-Bereich. Erreicht Docker die URL nicht, prüfen Sie ausgehendes Netzwerk und Proxy-Einstellungen des Containers. Werden Tools nicht aufgerufen, ändern Sie den Function-Calling-Modus oder wählen Sie ein Modell mit besserer Tool-Unterstützung.

Mit inference.eu als Verbindung werden alle Chat-Nachrichten, Auszüge aus hochgeladenen Dokumenten und Tool-Ergebnisse, die an das Modell gehen, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Open WebUI speichert Chats, Dateien und Benutzer in seiner eigenen Datenbank. Hosten Sie die Anwendung daher in der EU. Websuche, Bildgenerierung, Sprache und Embeddings können jeweils eigene Anbieter nutzen. Wählen Sie dafür in der EU gehostete oder lokale Optionen und deaktivieren Sie Verbindungen, die Benutzer nicht erreichen sollen.