Utiliser Haystack avec des modèles open source hébergés dans l’UE

Haystack est un framework Python open source de deepset pour construire des pipelines de production autour des modèles de langage. Vous reliez des composants comme des retrievers, des rankers, des constructeurs de prompts et des générateurs en un graphe, sérialisable en YAML, versionnable et déployable. Le composant Agent ajoute des boucles d’appels d’outils à n’importe quel générateur de chat.

Les générateurs sont les composants qui appellent un modèle de langage. OpenAIChatGenerator parle le format OpenAI Chat Completions et accepte un point d’accès personnalisé via api_base_url : c’est la méthode documentée pour le pointer vers une API compatible comme inference.eu.

Créez OpenAIChatGenerator avec api_base_url réglé sur l’URL de base d’inference.eu terminée par /v1 et model sur un identifiant inference.eu. Passez la clé sous la forme Secret.from_env_var("INFERENCE_EU_API_KEY") : Haystack la résout à l’exécution et n’écrit jamais sa valeur dans les pipelines sérialisés.

Dans les définitions YAML, les mêmes réglages figurent sous les init_parameters du générateur, avec api_key en secret de type env_var. Les paramètres du modèle comme temperature ou max_completion_tokens vont dans generation_kwargs. Pour le streaming, passez un streaming_callback, par exemple print_streaming_chunk fourni par Haystack.

Pour les pipelines RAG qui répondent à partir de documents récupérés, gpt-oss-120b est un choix par défaut rapide qui reste fidèle au contexte fourni. Pour les longs documents, les nombreux passages ou les réponses qui demandent une synthèse soignée, glm-5.3 et kimi-k3 sont de bonnes options.

Pour le composant Agent et les pipelines avec outils, choisissez un modèle aux appels d’outils fiables, comme qwen3-coder-480b-a35b-instruct, glm-5.3 ou kimi-k3. Un pipeline peut contenir plusieurs générateurs : utilisez par exemple un modèle rapide pour reformuler ou classer les requêtes et un modèle plus puissant pour la réponse finale.

Une erreur 401 signifie que le secret a donné une clé vide ou erronée. Vérifiez que INFERENCE_EU_API_KEY est définie dans le processus qui exécute le pipeline ; Secret.from_env_var lève une erreur à l’exécution si la variable manque. Une erreur 404 vient le plus souvent d’un chemin en trop dans api_base_url ou d’un identifiant inconnu.

Si la sortie structurée échoue, simplifiez le modèle Pydantic passé dans response_format au sein de generation_kwargs et validez le résultat. Si un agent tourne en boucle sans appeler d’outils, vérifiez que le modèle les prend en charge. Un pipeline sérialisé qui référence encore OPENAI_API_KEY enverra la mauvaise clé : mettez le YAML à jour.

Avec api_base_url pointant vers inference.eu, les prompts et documents récupérés que vos pipelines envoient au modèle sont traités dans des centres de données de l’UE et ne servent jamais à l’entraînement. Nous signons un accord de sous-traitance au titre de l’article 28 du RGPD, publions la liste de nos sous-traitants et facturons en euros.

Un pipeline Haystack comprend généralement plus qu’un générateur : des embedders, un document store, des convertisseurs et parfois du traçage. Chacun traite aussi vos documents. Choisissez pour eux des solutions hébergées dans l’UE ou auto-hébergées, afin que documents, embeddings et requêtes de modèle restent en Europe.