Dify mit Open-Source-Modellen aus der EU nutzen

Dify ist eine quelloffene Plattform für Anwendungen mit Sprachmodellen. In einem visuellen Editor bauen Sie Chatbots, Agenten mit Tools, Textgeneratoren und mehrstufige Workflows und veröffentlichen sie als Web-Apps oder APIs. Dazu gehören Wissensdatenbanken mit Dokumentensuche, Prompt-Verwaltung, Logs und Annotationen. Dify läuft als Dify Cloud oder selbst gehostet mit Docker.

Modelle kommen über Modell-Plugins hinzu. Das offizielle, vom Dify-Team gepflegte Plugin OpenAI-API-compatible verbindet sich mit jedem Dienst, der die OpenAI-API umsetzt. So stellen Sie Modelle von inference.eu jeder Anwendung in Ihrem Workspace bereit.

Nach der Installation des Plugins fügen Sie jedes Modell einzeln hinzu. Wählen Sie LLM als Modelltyp, geben Sie die Modell-ID von inference.eu als Model Name, Ihren Schlüssel als API Key und die Basis-URL von inference.eu mit Endung /v1 als API endpoint URL ein. Setzen Sie Completion mode auf Chat.

Die übrigen Felder beschreiben die Fähigkeiten des Modells. Kontextgröße und Obergrenze für maximale Tokens steuern, wie viel Text Dify sendet und anfordert. Setzen Sie Function calling bei Modellen mit Tool-Unterstützung auf Tool Call, damit Dify-Agenten natives Function Calling nutzen. Nach dem Speichern erscheint das Modell in jeder Modellauswahl des Workspace.

Für Chatbots, Textgenerierung und Klassifizierungs-Nodes ist gpt-oss-120b ein schneller Standard, der Anwendungen reaktionsschnell hält. Für Agenten und Workflows mit Tool-Aufrufen fügen Sie kimi-k3 oder glm-5.3 mit aktiviertem Tool Call hinzu. Beide beherrschen mehrstufiges Schlussfolgern und langen Kontext.

Wissensanwendungen, die aus langen Dokumenten antworten, profitieren von glm-5.3 oder kimi-k3 mit großer Kontextgröße. Für Anwendungen, die Code erzeugen oder prüfen, ergänzen Sie qwen3-coder-480b-a35b-instruct. Sie können mehrere Modelle von inference.eu hinzufügen und in jedem Workflow-Node ein anderes wählen, etwa ein schnelles für das Routing und ein stärkeres für die Antwort.

Scheitert das Speichern des Modells mit 401, ist der API-Schlüssel falsch. Ein 404 bedeutet meist, dass der Endpunkt-URL bei LLM-Modellen das /v1 fehlt oder ein Pfad zu viel enthalten ist. „Model not found“ heißt, dass Model Name von der ID bei inference.eu abweicht.

Beschreibt ein Agent Tool-Aufrufe nur im Text, statt sie auszuführen, setzen Sie Function calling auf Tool Call und wählen Sie ein Modell mit verlässlicher Tool-Unterstützung. Werden Antworten abgeschnitten, erhöhen Sie die Obergrenze für maximale Tokens. Fehlen Inhalte aus der Wissensdatenbank, prüfen Sie die Kontextgröße. Selbst gehostetes Dify braucht ausgehenden Netzwerkzugang für den Plugin-Daemon.

Mit inference.eu als Modellanbieter werden Prompts, abgerufenes Wissen und Tool-Ergebnisse, die Ihre Dify-Anwendungen an das Modell senden, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Dify speichert Anwendungen, Gespräche, Logs und Wissensdatenbanken in eigener Datenbank und eigenem Speicher. Hosten Sie Dify in der EU, um volle Kontrolle zu behalten, oder prüfen Sie, wo Ihr Workspace in Dify Cloud gehostet wird. Embedding- und Rerank-Modelle für Wissensdatenbanken werden separat konfiguriert. Wählen Sie auch dafür in der EU gehostete Optionen.