Utiliser LibreChat avec des modèles open source hébergés dans l’UE

LibreChat est une application de chat open source et auto-hébergée. Au-delà des conversations avec de nombreux fournisseurs, elle propose des agents dotés d’outils et de recherche dans les fichiers, la prise en charge des serveurs MCP, un interpréteur de code, des conversations ramifiées, des préréglages et une connexion d’entreprise via OAuth, OpenID Connect ou LDAP. Les organisations l’utilisent comme assistant central qu’elles maîtrisent.

Les fournisseurs se configurent dans librechat.yaml. La liste endpoints.custom accepte toute API au format OpenAI, et les entrées avec provider: anthropic parlent le format Anthropic Messages. inference.eu fonctionne avec les deux et apparaît aux utilisateurs comme un point d’accès de plus.

Chaque custom endpoint nécessite name, apiKey et baseURL. Référencez la clé avec ${INFERENCE_EU_API_KEY} pour qu’elle reste dans .env, et réglez baseURL sur l’URL de base d’inference.eu terminée par /v1. Sous models, default liste les modèles toujours visibles, et fetch: true charge la liste complète depuis l’API.

titleConvo et titleModel gèrent les titres automatiques des conversations ; prenez un modèle rapide pour ne pas ralentir le chat. modelDisplayLabel définit le nom affiché à côté des réponses. Sous Docker, librechat.yaml doit être monté dans le conteneur, en général via docker-compose.override.yml, faute de quoi LibreChat l’ignore.

Pour le chat généraliste, la rédaction et la synthèse, gpt-oss-120b est un choix par défaut rapide et un bon modèle de titres. Pour les longs documents, la recherche dans les fichiers et les questions qui exigent un raisonnement soigné, proposez glm-5.3 et kimi-k3. Les équipes qui travaillent sur du code tirent parti de qwen3-coder-480b-a35b-instruct.

Les agents LibreChat appellent des outils, cherchent dans les fichiers et utilisent des serveurs MCP : attribuez-leur un modèle aux appels d’outils fiables, comme kimi-k3 ou glm-5.3. Les model specs permettent aux administrateurs de publier des préréglages, par exemple un assistant de revue de contrats sur glm-5.3, pour éviter aux utilisateurs de choisir eux-mêmes.

Si le point d’accès n’apparaît pas, LibreChat n’a pas chargé librechat.yaml : vérifiez le montage et cherchez une erreur de validation dans les journaux. Une erreur 401 signifie que INFERENCE_EU_API_KEY manque dans .env ou que le conteneur n’a pas été redémarré après son ajout. Une erreur 404 vient le plus souvent d’une baseURL sans /v1.

Si la liste des modèles est vide, vérifiez fetch: true ou listez les modèles sous default. Si une requête échoue avec une erreur 400 à cause d’un paramètre non pris en charge, ajoutez-le à dropParams. Si les agents n’appellent pas d’outils, choisissez pour eux un modèle aux appels d’outils plus solides.

Avec inference.eu comme point d’accès, chaque message, extrait de fichier et résultat d’outil envoyé au modèle est traité dans des centres de données de l’UE et ne sert jamais à l’entraînement. Nous signons un accord de sous-traitance au titre de l’article 28 du RGPD, publions la liste de nos sous-traitants et facturons en euros.

LibreChat stocke conversations, fichiers et utilisateurs dans sa propre base MongoDB et son stockage de fichiers : hébergez-les dans l’UE. Les embeddings de la recherche dans les fichiers, la recherche web, la voix et la génération d’images utilisent des fournisseurs configurés séparément ; choisissez des options européennes et retirez les points d’accès que les utilisateurs ne doivent pas atteindre.