Utiliser Pydantic AI avec des modèles open source hébergés dans l’UE

Pydantic AI est un framework Python open source pour construire des agents et des fonctionnalités appuyées sur des modèles. Vous déclarez les outils comme des fonctions Python typées et décrivez la sortie attendue avec un modèle Pydantic ; le framework gère le dialogue avec le modèle, les appels d’outils, les nouvelles tentatives en cas d’erreur de validation et le streaming.

Il prend en charge de nombreux fournisseurs. Pour les services sans intégration dédiée, la voie documentée associe OpenAICompatibleProvider à OpenAIChatModel, qui parle le format Chat Completions. C’est ainsi que vous reliez Pydantic AI à inference.eu sans changer le code de vos agents.

OpenAICompatibleProvider prend un nom, base_url (l’URL de base d’inference.eu terminée par /v1) et api_key. Gardez un nom stable, par exemple inference-eu : Pydantic AI l’enregistre sur chaque réponse et s’en sert pour décider quelles données des tours précédents peuvent être renvoyées.

OpenAIChatModel reçoit l’identifiant inference.eu et le fournisseur. Préférez-le à OpenAIResponsesModel, car Chat Completions est le format le plus largement pris en charge. Évitez OpenAIProvider avec une URL personnalisée : il présume des modèles et fonctions propres à OpenAI. En cas de souci, ajustez l’OpenAIModelProfile passé dans profile.

Pydantic AI s’appuie sur les appels d’outils pour les sorties structurées comme pour vos propres outils : les modèles aux appels d’outils fiables donnent les meilleurs résultats. glm-5.3 et kimi-k3 sont de bons choix par défaut pour des agents dotés de plusieurs outils ou de types de sortie complexes, et respectent bien les schémas imbriqués.

Pour l’extraction, la classification et autres appels typés rapides, gpt-oss-120b limite la latence. Pour les agents qui génèrent ou relisent du code, utilisez qwen3-coder-480b-a35b-instruct. Vous pouvez créer plusieurs modèles sur le même fournisseur et les attribuer à différents agents, par exemple un agent de tri rapide qui passe la main à un spécialiste plus puissant.

Une erreur 401 signifie que la clé est absente ou erronée. Une erreur 404 vient le plus souvent d’un chemin en trop dans base_url ou d’un identifiant de modèle inconnu chez inference.eu.

Si l’agent lève une erreur après plusieurs tentatives de validation de la sortie, simplifiez le modèle de sortie ou augmentez output_retries, et choisissez un modèle aux appels d’outils solides. Si les définitions d’outils sont refusées, réglez openai_supports_strict_tool_definition=False dans le profil. Si une requête échoue à cause de plusieurs messages système, réglez openai_chat_supports_multiple_system_messages=False.

Avec le fournisseur pointé vers inference.eu, chaque prompt, résultat d’outil et sortie échangé entre vos agents et le modèle est traité dans des centres de données de l’UE et ne sert jamais à l’entraînement. Nous signons un accord de sous-traitance au titre de l’article 28 du RGPD, publions la liste de nos sous-traitants et facturons en euros.

Pydantic AI n’appelle que le fournisseur configuré. Il s’intègre à OpenTelemetry, et Logfire peut enregistrer prompts et sorties si vous activez l’instrumentation : vérifiez où votre outil de traçage stocke ces données. Les outils appelés par vos agents, comme des API de recherche, reçoivent aussi des données selon leurs propres conditions.