Chat · OpenGPT-X (Fraunhofer, Forschungszentrum Jülich, TU Dresden, DFKI)
Teuken 7B in der EU über eine OpenAI-kompatible API nutzen
Teuken 7B Instruct ist ein kompaktes mehrsprachiges Modell aus dem deutschen Forschungsprojekt OpenGPT-X, trainiert auf allen 24 Amtssprachen der EU. Die kommerzielle Version steht unter Apache 2.0. Auf inference.eu rufen Sie es im OpenAI- oder Anthropic-Format auf, verarbeitet in Rechenzentren in der EU und nie zum Training genutzt.
- 017B
- 02Rechenzentren in der EU
- 03Apache 2.0
Was Teuken 7B ist
Teuken 7B entstand im Projekt OpenGPT-X bei Fraunhofer, dem Forschungszentrum Jülich, der TU Dresden und dem DFKI, gefördert vom Bundesministerium für Wirtschaft und Klimaschutz. Es ist ein anweisungsoptimiertes Modell mit 7 Milliarden Parametern, vortrainiert auf rund 4 Billionen Tokens in allen 24 Amtssprachen der Europäischen Union.
Auf inference.eu stellen wir Teuken-7B-instruct-commercial-v0.4 bereit, die Version unter Apache 2.0 für kommerzielle und wissenschaftliche Nutzung. Die spätere Version v0.6 wurde mit mehr Daten trainiert, ist aber nur für nicht-kommerzielle Zwecke lizenziert. Das Instruktions-Tuning nutzte englische und deutsche Datensätze sowie Anweisungen in 22 weiteren Sprachen. Das Kontextfenster umfasst 4.096 Tokens.
Stärken und Grenzen
Teuken setzt auf Ausgewogenheit über europäische Sprachen. Weil es nicht vorrangig für Englisch gebaut wurde, liefert es über die 24 EU-Sprachen hinweg gleichmäßigere Ergebnisse als viele Modelle seiner Größe. Dank der geringen Größe ist es günstig im Betrieb und passt zu kurzen Aufgaben in großer Menge, etwa Nachrichten klassifizieren, kurze Texte umformulieren oder einfache Fragen in vielen Sprachen beantworten.
Die Grenzen sind klar: Mit 4.000 Tokens Kontext liest es keine langen Dokumente, Bilder verarbeitet es nicht, und bei Reasoning, Code und komplexen Anweisungen liegt es deutlich hinter größeren, neueren Modellen. Die Modellkarte warnt zudem vor möglichen verzerrten Ausgaben. Für anspruchsvollere Aufgaben eignen sich EuroLLM 22B oder Mistral Small 4.
Teuken 7B über die API aufrufen
inference.eu verwendet das OpenAI-Anfrageformat. Die OpenAI-SDKs, LangChain, LlamaIndex und ähnliche Werkzeuge funktionieren daher ohne Änderungen. Setzen Sie die Base-URL auf die inference.eu-API, verwenden Sie Ihren inference.eu-Schlüssel und tragen Sie als Modell teuken-7b-instruct-commercial ein.
Das Chat-Template von Teuken hat eine Spracheinstellung, die festlegt, in welcher Sprache der eingebaute Systemprompt formuliert ist. Halten Sie Ihre Prompts kurz, denn Systemprompt, Verlauf und Antwort müssen zusammen in 4.096 Tokens passen. Streaming funktioniert wie gewohnt, auch das Anthropic-Messages-Format steht bereit.
Ein deutsches Modell, verarbeitet in der EU
Teuken wurde mit öffentlichen deutschen Mitteln auf europäischer Forschungsinfrastruktur entwickelt, und auf inference.eu läuft es ebenfalls in Europa. Ihre Prompts und die Antworten werden in Rechenzentren in der Europäischen Union verarbeitet und nie zum Training eines Modells verwendet.
Jeder Kunde erhält einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO und unsere Liste der Unterauftragsverarbeiter, damit Sie genau dokumentieren können, wer die Daten verarbeitet. Abgerechnet wird in Euro. Die kommerzielle Version v0.4 steht unter Apache 2.0 und erlaubt kommerzielle Nutzung ohne Nutzergrenzen. Verwechseln Sie sie nicht mit v0.6, deren Lizenz CC BY-NC 4.0 kommerzielle Nutzung ausschließt.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.inference.eu/v1", api_key=os.environ["INFERENCE_EU_API_KEY"])
response = client.chat.completions.create(
model="teuken-7b-instruct-commercial",
messages=[{"role": "user", "content": "Summarise this contract in five bullet points."}],
)
print(response.choices[0].message.content)Wofür Teams es einsetzen
- 1
Kurze mehrsprachige Antworten
Kurze Antworten, Bestätigungen und Umformulierungen in jeder der 24 EU-Sprachen für Formulare, Chat-Widgets und Benachrichtigungen erzeugen.
- 2
Nachrichten klassifizieren
Eingehende Nachrichten nach Sprache, Thema oder Dringlichkeit sortieren, wenn ein kleines, günstiges Modell genügt.
- 3
Forschung und öffentliche Projekte
Ein Modell deutscher öffentlicher Forschungseinrichtungen für Projekte nutzen, die bewusst auf eine europäische Grundlage setzen.
Teuken 7B Instruct: häufige Fragen
Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.
Verwandte Seiten
- EuroLLM 22B InstructEuroLLM 22B Instruct, das europäische KI-Modell für alle 24 EU-Amtssprachen, auf inference.eu nutzen: OpenAI-kompatible API, Verarbeitung in der EU.Chat
- Apertus 1.5 70BApertus 1.5 70B, das vollständig offene Schweizer KI-Modell von EPFL und ETH Zürich, auf inference.eu nutzen: OpenAI-kompatible API, Verarbeitung in der EU.Chat
- Mistral Small 4 119BMistral Small 4 119B vom französischen KI-Labor Mistral AI auf inference.eu: Reasoning, Bilder und Code in einem Modell, Verarbeitung in der EU.Chat
Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur
Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.
- Antwort innerhalb eines Werktags
- Preise für Ihr Volumen
- AV-Vertrag unterschriftsreif