Utiliser LlamaIndex avec des modèles open source hébergés dans l’UE

LlamaIndex est un framework de données open source pour les applications de modèles de langage. Il charge et analyse les documents, les découpe en nœuds, construit des index et retrouve le bon contexte pour chaque question. Il propose par-dessus des moteurs de requête, des moteurs de chat, des agents et des workflows pilotés par événements.

LlamaIndex sépare le modèle de langage du reste du pipeline. Chaque composant peut utiliser un objet LLM, et OpenAILike est la classe prévue pour les API tierces au format OpenAI. Définissez-la une fois dans Settings.llm et tous les index et moteurs de votre application utilisent inference.eu.

OpenAILike prend api_base (l’URL de base d’inference.eu terminée par /v1), api_key et model. Contrairement à la classe OpenAI, elle ne présume pas des capacités du modèle : trois réglages comptent donc. is_chat_model=True envoie les requêtes au point d’accès de chat ; par défaut, c’est l’ancien point d’accès de complétion qui est utilisé.

is_function_calling_model=True permet aux agents d’utiliser les appels d’outils natifs ; sinon, ils se rabattent sur un raisonnement textuel. context_window vaut 3 900 jetons par défaut, bien en dessous des capacités actuelles : indiquez la vraie fenêtre du modèle. LlamaIndex s’en sert pour savoir combien de passages récupérés tiennent dans un prompt.

Pour répondre à des questions sur des documents, gpt-oss-120b donne des réponses rapides et fondées, avec une faible latence. Pour les longs documents ou les questions qui exigent de synthétiser de nombreux passages, glm-5.3 et kimi-k3 gèrent bien les grands contextes et le raisonnement soigné.

Pour FunctionAgent et les workflows qui appellent plusieurs outils, choisissez un modèle aux appels d’outils fiables, comme glm-5.3, kimi-k3 ou qwen3-coder-480b-a35b-instruct. Vous pouvez aussi combiner plusieurs modèles dans une application, par exemple un modèle rapide pour reformuler les requêtes et un plus puissant pour la réponse finale.

Une erreur 401 signifie que la clé est absente ou erronée. Une erreur 404 vient le plus souvent d’un chemin en trop dans api_base, ou de is_chat_model resté à False, si bien que LlamaIndex appelle l’ancien point d’accès de complétion. Passez-le à True.

Si un agent n’appelle jamais d’outils et répond en texte libre, réglez is_function_calling_model=True. Si les réponses ignorent l’essentiel du contexte ou si des erreurs de longueur apparaissent, vérifiez context_window : trop bas, LlamaIndex tronque le contexte ; trop haut, les requêtes dépassent la limite du modèle. La classe OpenAI simple refuse les identifiants qu’elle ne connaît pas.

Avec OpenAILike pointant vers inference.eu, les questions et passages de documents que LlamaIndex envoie au modèle sont traités dans des centres de données de l’UE et ne servent jamais à l’entraînement. Nous signons un accord de sous-traitance au titre de l’article 28 du RGPD, publions la liste de nos sous-traitants et facturons en euros.

Un pipeline RAG complet comprend aussi des embeddings, une base vectorielle et parfois un analyseur de documents ou un outil d’observabilité. Chacun traite également vos documents. Choisissez pour eux des solutions hébergées dans l’UE ou auto-hébergées, afin que documents, embeddings et requêtes de modèle restent en Europe.