Utiliser le SDK OpenAI avec des modèles open source hébergés dans l’UE

Les paquets openai sont les bibliothèques clientes les plus utilisées pour les API de modèles de langage, et de nombreux outils reposent sur elles. Ils gèrent pour vous les nouvelles tentatives, les délais, le streaming, les réponses typées et les erreurs. Comme inference.eu parle le format de l’API OpenAI, vous conservez tout cela et ne changez que la destination des requêtes.

C’est souvent le moyen le plus rapide de faire passer une application existante sur des modèles open-weight dans l’UE : deux arguments de constructeur et un nom de modèle, sans nouvelle dépendance ni modification du reste du code.

En Python, passez base_url et api_key à OpenAI(...) ou AsyncOpenAI(...). En JavaScript et TypeScript, passez baseURL et apiKey à new OpenAI({...}). L’URL de base se termine par /v1 ; le SDK ajoute lui-même les chemins comme /chat/completions.

Les deux SDK lisent aussi OPENAI_BASE_URL et OPENAI_API_KEY dans l’environnement si vous ne les passez pas. C’est pratique pour des outils que vous ne pouvez pas modifier, mais dans votre propre code, des arguments explicites avec INFERENCE_EU_API_KEY sont plus lisibles et évitent de confondre les clés quand un projet utilise plusieurs fournisseurs.

client.models.list() affiche les identifiants de modèles accessibles avec votre clé. Pour le chat généraliste, l’extraction et la synthèse, gpt-oss-120b est un choix par défaut rapide et performant. Pour la génération de code et les agents qui appellent des outils, qwen3-coder-480b-a35b-instruct est une option solide.

Pour le raisonnement complexe, les longs documents ou les workflows d’agents en plusieurs étapes, essayez glm-5.3 ou kimi-k3. Seule la chaîne model change : vous pouvez donc comparer les modèles sur vos propres prompts en envoyant la même requête à plusieurs identifiants, puis en examinant qualité, latence et consommation de jetons.

Une AuthenticationError 401 signifie que la clé est absente ou erronée ; vérifiez que vous lisez INFERENCE_EU_API_KEY et non un ancien OPENAI_API_KEY. Une NotFoundError 404 indique le plus souvent une URL de base sans /v1 ou avec un chemin en trop, ou un identifiant de modèle inexistant.

Utilisez Chat Completions, client.chat.completions.create, la voie la plus largement prise en charge. Pour obtenir l’usage en streaming, passez stream_options={"include_usage": True} : les compteurs arrivent dans le dernier fragment. Si les appels d’outils reviennent sous forme de texte, vérifiez que le modèle les prend en charge et que tools suit le format JSON Schema.

Avec l’URL de base réglée sur inference.eu, chaque requête envoyée par votre application via le SDK est traitée dans des centres de données de l’UE. Prompts et réponses ne servent jamais à l’entraînement. Nous signons un accord de sous-traitance au titre de l’article 28 du RGPD, publions la liste de nos sous-traitants et facturons en euros.

Le SDK ne communique qu’avec l’URL de base configurée et n’envoie aucune télémétrie à OpenAI. Vérifiez le reste de votre stack : les services de journalisation, de traçage et d’évaluation peuvent eux aussi stocker des prompts. Si vous définissez OPENAI_BASE_URL globalement, assurez-vous qu’aucun autre chemin de code ne crée encore un client avec l’URL par défaut d’OpenAI.