Mastra mit Open-Source-Modellen aus der EU nutzen

Mastra ist ein quelloffenes TypeScript-Framework vom Team hinter Gatsby. Es bietet Agenten mit Tools und Gedächtnis, graphbasierte Workflows mit Pausieren und Fortsetzen, RAG-Bausteine, Evaluierungen und ein lokales Studio zum Testen. Mastra-Anwendungen laufen in Node.js und lassen sich auf Servern, Serverless-Plattformen oder in bestehenden Web-Frameworks betreiben.

Modelle wählen Sie über den Modell-Router von Mastra. Neben den eingebauten Anbietern akzeptiert er einen eigenen OpenAI-kompatiblen Endpunkt, wenn Sie url zusammen mit der Modell-ID übergeben. Das ist der dokumentierte Weg zu einem Dienst wie inference.eu.

Setzen Sie model statt auf einen String wie "openai/..." auf ein Objekt. id hat die Form provider/model; mit inference-eu/kimi-k3 sendet Mastra die reine Modell-ID kimi-k3 an den Endpunkt. url ist die Basis-URL von inference.eu mit Endung /v1, nie der vollständige Pfad zu Chat Completions. apiKey wird als Bearer-Token gesendet.

Eigene URLs nutzen standardmäßig die Chat Completions API, genau richtig für inference.eu. Alternativ erzeugen Sie mit createOpenAICompatible aus dem AI SDK einen Provider und übergeben das Modell dem Agenten. Mastra akzeptiert AI-SDK-Modelle direkt.

Mastra-Agenten rufen Tools auf und laufen oft in mehrstufigen Workflows. Am besten arbeiten daher Modelle mit verlässlichen Tool-Aufrufen. kimi-k3 und glm-5.3 sind gute Standards für Support-, Recherche- und Betriebsagenten, die planen und mehrere Tools nutzen.

Für Agenten, die Code schreiben oder prüfen, nutzen Sie qwen3-coder-480b-a35b-instruct. Für schnelle Klassifizierung, Routing oder strukturierte Extraktion innerhalb eines Workflows hält gpt-oss-120b die Wartezeit gering. Jeder Agent und jeder Workflow-Schritt kann ein eigenes Modell nutzen. Über die Ausweichmodelle von Mastra hinterlegen Sie ein zweites Modell von inference.eu für den Fall eines Fehlers.

Ein Fehler 401 bedeutet, dass INFERENCE_EU_API_KEY dort fehlt, wo der Agent läuft. Prüfen Sie lokal die .env-Datei und im Deployment die Umgebungseinstellungen. Ein 404 entsteht meist, wenn url den Pfad /chat/completions oder einen anderen Zusatz enthält. Verwenden Sie die Basis-URL mit Endung /v1.

„Model not found“ bedeutet, dass der Teil von id nach inference-eu/ nicht der Modell-ID bei inference.eu entspricht. Scheitert die strukturierte Ausgabe, vereinfachen Sie das Zod-Schema. Ignoriert ein Agent seine Tools, wählen Sie ein Modell mit stärkeren Tool-Aufrufen. Setzen Sie für inference.eu nicht api: "responses", sondern behalten Sie den Standardweg über Chat Completions.

Ist das Modell auf inference.eu ausgerichtet, werden die Nachrichten, Gedächtnisauszüge und Tool-Ergebnisse Ihrer Agenten in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Mastra selbst ruft nur die konfigurierten Dienste auf. Gedächtnisspeicher, Vektordatenbanken und Observability-Exporter halten ebenfalls Daten. Wählen Sie dafür in der EU gehostete oder selbst betriebene Lösungen. Betreiben Sie Ihren Mastra-Server in einer EU-Region, damit Anfragen nicht vorher anderswo verarbeitet werden, bevor sie inference.eu erreichen.