Utiliser AnythingLLM avec des modèles open source hébergés dans l’UE

AnythingLLM, de Mintplex Labs, est une application open source de chat augmenté par vos documents et d’agents. Elle fonctionne comme application de bureau sous Windows, macOS et Linux, ou en déploiement Docker multi-utilisateur. Vous organisez vos documents en workspaces, et AnythingLLM les découpe, les vectorise et les stocke pour que les réponses citent vos propres fichiers. Les agents ajoutent navigation web, gestion de fichiers et compétences personnalisées.

Par défaut, embeddings et base vectorielle tournent en local. Seul le modèle de langage nécessite un fournisseur, et l’option Generic OpenAI se connecte à toute API compatible OpenAI : c’est ainsi que vous utilisez inference.eu.

Dans Settings > AI Providers > LLM, sélectionnez Generic OpenAI et renseignez Base URL (l’URL de base d’inference.eu terminée par /v1), la clé API, le nom du modèle tel qu’inference.eu l’indique, la fenêtre de contexte du modèle et le nombre maximal de jetons par réponse. Chaque workspace peut aussi définir son propre fournisseur et modèle.

Pour les déploiements Docker, les mêmes réglages se placent dans le .env du serveur avec LLM_PROVIDER='generic-openai', GENERIC_OPEN_AI_BASE_PATH, GENERIC_OPEN_AI_API_KEY, GENERIC_OPEN_AI_MODEL_PREF et GENERIC_OPEN_AI_MODEL_TOKEN_LIMIT. L’option Generic OpenAI est très souple : vérifiez soigneusement chaque champ.

Le chat sur documents demande un modèle fidèle au texte retrouvé et à l’aise avec un long contexte. glm-5.3 et kimi-k3 sont de bons choix pour répondre à des questions portant sur de nombreux documents, comparer des contrats ou résumer des rapports.

Pour les questions rapides et les workspaces plus légers, gpt-oss-120b répond vite. Les agents AnythingLLM appellent des outils pour la navigation web, l’enregistrement de fichiers et les compétences personnalisées : utilisez dans les workspaces où vous invoquez @agent un modèle aux appels d’outils fiables, comme kimi-k3 ou glm-5.3. Indiquez la vraie fenêtre de contexte pour inclure assez d’extraits.

Une erreur 401 signifie que la clé API est erronée ou a été collée avec des espaces. Une erreur 404 vient le plus souvent d’une URL de base sans /v1 ou contenant /chat/completions. « Model not found » indique que le nom du modèle diffère de l’identifiant inference.eu : saisissez-le exactement.

Si les réponses ignorent vos documents, la fenêtre de contexte est trop basse ou trop peu d’extraits sont récupérés : augmentez la limite de jetons et vérifiez le seuil de similarité du workspace. Si les agents n’appellent pas d’outils, choisissez pour l’agent un modèle aux appels d’outils plus solides. Après une modification, ouvrez un nouveau chat.

Avec inference.eu comme fournisseur de LLM, les questions et extraits de documents qu’AnythingLLM envoie au modèle sont traités dans des centres de données de l’UE et ne servent jamais à l’entraînement. Nous signons un accord de sous-traitance au titre de l’article 28 du RGPD, publions la liste de nos sous-traitants et facturons en euros.

AnythingLLM garde par défaut documents, embeddings et base vectorielle sur votre machine ou votre serveur. Il collecte une télémétrie d’usage anonyme, sauf si vous réglez DISABLE_TELEMETRY sur true ou la désactivez dans Privacy. Les compétences d’agent comme la recherche web utilisent leurs propres fournisseurs : vérifiez-les avant de les activer.