Utiliser Dify avec des modèles open source hébergés dans l’UE

Dify est une plateforme open source pour construire des applications de modèles de langage. Dans un éditeur visuel, vous créez chatbots, agents dotés d’outils, générateurs de texte et workflows en plusieurs étapes, puis les publiez comme applications web ou API. Elle comprend des bases de connaissances avec recherche documentaire, la gestion des prompts, des journaux et des annotations, et fonctionne en version Dify Cloud ou auto-hébergée avec Docker.

Les modèles s’ajoutent via des plugins de fournisseurs. Le plugin officiel OpenAI-API-compatible, maintenu par l’équipe Dify, se connecte à tout service qui implémente l’API OpenAI : c’est ainsi que vous mettez les modèles d’inference.eu à disposition de chaque application de votre espace.

Une fois le plugin installé, ajoutez chaque modèle séparément. Choisissez LLM comme type, saisissez l’identifiant inference.eu dans Model Name, votre clé dans API Key et l’URL de base d’inference.eu terminée par /v1 dans API endpoint URL. Réglez Completion mode sur Chat.

Les autres champs décrivent les capacités du modèle. La taille de contexte et la limite haute de jetons déterminent la quantité de texte envoyée et demandée. Réglez Function calling sur Tool Call pour les modèles qui gèrent les outils, afin que les agents Dify utilisent l’appel de fonctions natif. Une fois enregistré, le modèle apparaît dans tous les sélecteurs de l’espace.

Pour les chatbots, la génération de texte et les nœuds de classification, gpt-oss-120b est un choix par défaut rapide qui garde les applications réactives. Pour les agents et workflows qui appellent des outils, ajoutez kimi-k3 ou glm-5.3 avec Tool Call activé : tous deux gèrent bien le raisonnement en plusieurs étapes et les longs contextes.

Les applications de connaissances qui répondent à partir de longs documents tirent parti de glm-5.3 ou kimi-k3 avec une grande taille de contexte. Pour les applications qui génèrent ou relisent du code, ajoutez qwen3-coder-480b-a35b-instruct. Vous pouvez ajouter plusieurs modèles et en choisir un différent dans chaque nœud, par exemple un modèle rapide pour le routage et un plus puissant pour la réponse.

Si l’enregistrement du modèle échoue avec une erreur 401, la clé API est erronée. Une erreur 404 indique le plus souvent une URL sans /v1 pour les modèles LLM, ou avec un chemin en trop. « Model not found » signifie que Model Name diffère de l’identifiant inference.eu.

Si un agent décrit ses appels d’outils dans le texte au lieu de les exécuter, réglez Function calling sur Tool Call et choisissez un modèle aux appels d’outils fiables. Si les réponses sont tronquées, augmentez la limite haute de jetons. Si les réponses de la base de connaissances sont incomplètes, vérifiez la taille de contexte. Un Dify auto-hébergé a besoin d’un accès réseau sortant pour le démon des plugins.

Avec inference.eu comme fournisseur de modèles, les prompts, connaissances récupérées et résultats d’outils que vos applications Dify envoient au modèle sont traités dans des centres de données de l’UE et ne servent jamais à l’entraînement. Nous signons un accord de sous-traitance au titre de l’article 28 du RGPD, publions la liste de nos sous-traitants et facturons en euros.

Dify conserve applications, conversations, journaux et bases de connaissances dans sa propre base et son stockage. Hébergez Dify dans l’UE pour en garder la maîtrise, ou vérifiez où votre espace Dify Cloud est hébergé. Les modèles d’embeddings et de rerank des bases de connaissances se configurent à part : choisissez aussi pour eux des options européennes.