inference.eu

Chat · OpenGPT-X (Fraunhofer, Forschungszentrum Jülich, TU Dresden, DFKI)

Utilisez Teuken 7B en Europe via une API compatible OpenAI

Teuken 7B Instruct est un modèle multilingue compact issu du projet de recherche allemand OpenGPT-X, entraîné sur les 24 langues officielles de l'UE. Sa version commerciale est publiée sous Apache 2.0. Sur inference.eu, vous l'appelez au format OpenAI ou Anthropic, avec un traitement dans l'UE et sans usage de vos données pour l'entraînement.

Contacter l'équipeExemple de requête
  1. 017B
  2. 02Centres de données dans l'UE
  3. 03Apache 2.0

Ce qu'est Teuken 7B

Teuken 7B a été développé dans le cadre du projet OpenGPT-X par Fraunhofer, le Forschungszentrum Jülich, la TU Dresden et le DFKI, avec le financement du ministère fédéral allemand de l'Économie. C'est un modèle de 7 milliards de paramètres affiné pour suivre des instructions, pré-entraîné sur environ 4 000 milliards de tokens couvrant les 24 langues officielles de l'Union européenne.

Sur inference.eu, nous proposons Teuken-7B-instruct-commercial-v0.4, la version sous Apache 2.0 destinée aux usages commerciaux et de recherche. La version v0.6, entraînée sur davantage de données, est réservée à un usage non commercial. Sa fenêtre de contexte est de 4 096 tokens.

Points forts et limites

L'intérêt de Teuken est son équilibre entre les langues européennes. N'ayant pas été conçu d'abord pour l'anglais, il donne des résultats plus homogènes sur les 24 langues de l'UE que beaucoup de modèles de sa taille. Sa petite taille le rend économique, idéal pour des tâches courtes et nombreuses : classer des messages, reformuler de courts textes ou répondre à des questions simples.

Ses limites sont nettes. Avec 4 000 tokens de contexte, il ne lit pas de longs documents ; il ne traite pas les images ; et en raisonnement, en code ou face à des consignes complexes, il reste loin derrière des modèles plus grands et plus récents. Sa fiche signale aussi des risques de sorties biaisées. Pour des tâches exigeantes, préférez EuroLLM 22B ou Mistral Small 4.

Appeler Teuken 7B via l'API

inference.eu utilise le format de requête OpenAI : les SDK OpenAI, LangChain, LlamaIndex et les outils similaires fonctionnent sans modification. Indiquez l'URL de base de l'API inference.eu, votre clé inference.eu et le modèle teuken-7b-instruct-commercial.

Le modèle de conversation de Teuken comporte un réglage de langue qui détermine la langue de son prompt système intégré. Gardez des prompts courts, car prompt système, historique et réponse doivent tenir dans 4 096 tokens. Le streaming fonctionne comme d'habitude, et le format Messages d'Anthropic est aussi disponible.

Un modèle allemand, traité dans l'UE

Teuken a été conçu avec des fonds publics allemands sur une infrastructure de recherche européenne, et sur inference.eu il est aussi hébergé en Europe. Vos prompts et ses réponses sont traités dans des centres de données de l'Union européenne et ne servent jamais à entraîner un modèle.

Chaque client reçoit un accord de traitement des données selon l'article 28 du RGPD ainsi que la liste de nos sous-traitants, pour documenter précisément qui traite les données. La facturation se fait en euros. La version commerciale v0.4 est sous Apache 2.0 et autorise l'usage commercial sans limite d'utilisateurs. Ne la confondez pas avec la v0.6, dont la licence CC BY-NC 4.0 exclut tout usage commercial.

teuken-7b-instruct-commercial · Python
import os
from openai import OpenAI

client = OpenAI(base_url="https://api.inference.eu/v1", api_key=os.environ["INFERENCE_EU_API_KEY"])

response = client.chat.completions.create(
    model="teuken-7b-instruct-commercial",
    messages=[{"role": "user", "content": "Summarise this contract in five bullet points."}],
)
print(response.choices[0].message.content)

Ce que les équipes en font

  • 1

    Réponses courtes multilingues

    Générer réponses brèves, confirmations et reformulations dans les 24 langues de l'UE pour formulaires, widgets de discussion et notifications.

  • 2

    Classement de messages

    Trier les messages entrants par langue, sujet ou urgence lorsqu'un petit modèle peu coûteux suffit.

  • 3

    Recherche et projets publics

    Utiliser un modèle conçu par des instituts de recherche publics allemands pour des projets qui veulent une base européenne.

Teuken 7B Instruct : questions fréquentes

Les questions que nous posent le plus les achats, les développeurs et les juristes. Il en manque une ? Posez-la-nous directement.

Poser une question

Pages liées

Tous les modèles

Faites passer vos charges IA sur une infrastructure européenne

Dites-nous quels modèles vous utilisez et votre volume approximatif. Nous répondons sous un jour ouvré avec un tarif et la suite.

  • Réponse sous un jour ouvré
  • Tarif adapté à votre volume
  • DPA prêt à signer