Utiliser le Vercel AI SDK avec des modèles open source hébergés dans l’UE

L’AI SDK est une bibliothèque TypeScript open source de Vercel. Elle offre une API unique pour la génération de texte, le streaming, les appels d’outils, les sorties structurées et les agents, quel que soit le fournisseur de modèles, ainsi que des hooks d’interface comme useChat pour React, Svelte et Vue. Elle fonctionne dans Node.js, les fonctions serverless et les environnements edge.

Les fournisseurs sont des paquets distincts. Le paquet @ai-sdk/openai-compatible fonctionne avec toute API au format OpenAI : c’est la voie recommandée vers inference.eu. Vos appels à l’AI SDK restent identiques, seule l’instance du fournisseur change.

createOpenAICompatible renvoie une fonction fournisseur. name l’identifie dans les erreurs et la télémétrie, baseURL est l’URL de base d’inference.eu terminée par /v1, et apiKey est envoyée comme jeton bearer. includeUsage: true demande les compteurs de jetons en streaming, pour que usage soit renseigné à la fin de streamText.

Appelez le fournisseur avec un identifiant pour obtenir un modèle, par exemple inferenceEu("qwen3-coder-480b-a35b-instruct"). Placez le fournisseur dans un module exécuté uniquement côté serveur : la clé ne doit jamais atteindre le navigateur. Route handlers, server actions et routes d’API l’importent et diffusent les résultats au client via useChat ou votre propre interface.

Pour le chat, les résumés et l’extraction, gpt-oss-120b est un choix par défaut rapide qui garde un streaming fluide dans l’interface. Pour des agents construits avec des outils et stopWhen, choisissez un modèle aux appels d’outils fiables, comme qwen3-coder-480b-a35b-instruct, glm-5.3 ou kimi-k3.

glm-5.3 et kimi-k3 conviennent aussi aux longs documents et au raisonnement en plusieurs étapes. Si vous utilisez generateObject avec un schéma Zod, n’activez supportsStructuredOutputs: true qu’après avoir vérifié que le modèle renvoie un JSON valide de façon fiable ; sinon, le SDK guide le modèle par des instructions et valide lui-même le résultat.

Une erreur 401 signifie que INFERENCE_EU_API_KEY n’est pas définie dans l’environnement qui exécute l’appel. Les déploiements serverless et edge doivent avoir la variable dans la configuration de l’hébergeur, pas seulement dans .env.local. Une erreur 404 vient le plus souvent d’un chemin en trop dans baseURL.

« Model not found » signifie que l’identifiant passé au fournisseur diffère de celui d’inference.eu. Si usage est vide après le streaming, ajoutez includeUsage: true. Si les appels d’outils sont ignorés, vérifiez que le modèle prend en charge les outils. N’utilisez pas le paquet @ai-sdk/openai ici : il vise par défaut l’API Responses d’OpenAI, alors que le fournisseur compatible utilise Chat Completions.

Avec le fournisseur pointé vers inference.eu, chaque prompt et chaque réponse de votre application sont traités dans des centres de données de l’UE et ne servent jamais à l’entraînement. Nous signons un accord de sous-traitance au titre de l’article 28 du RGPD, publions la liste de nos sous-traitants et facturons en euros.

L’AI SDK n’appelle que le fournisseur configuré. La région d’hébergement compte aussi : exécutez route handlers et fonctions dans une région européenne pour que les prompts ne passent pas par des serveurs situés ailleurs avant de nous parvenir. Si vous activez la télémétrie OpenTelemetry, vérifiez où votre outil de traçage stocke les attributs de prompt et de réponse.