Das Vercel AI SDK mit Open-Source-Modellen aus der EU nutzen

Das AI SDK ist eine quelloffene TypeScript-Bibliothek von Vercel. Sie bietet eine einheitliche API für Textgenerierung, Streaming, Tool-Aufrufe, strukturierte Ausgaben und Agenten über viele Modellanbieter hinweg, dazu UI-Hooks wie useChat für React, Svelte und Vue. Sie läuft in Node.js, Serverless-Funktionen und Edge-Laufzeiten.

Provider sind eigene Pakete. Das Paket @ai-sdk/openai-compatible funktioniert mit jeder API im OpenAI-Format und ist der empfohlene Weg zu inference.eu. Die Aufrufe des AI SDK bleiben gleich, Sie tauschen nur die Provider-Instanz.

createOpenAICompatible liefert eine Provider-Funktion. name kennzeichnet sie in Fehlermeldungen und Telemetrie, baseURL ist die Basis-URL von inference.eu mit Endung /v1, und apiKey wird als Bearer-Token gesendet. includeUsage: true fordert Token-Angaben in gestreamten Antworten an, damit usage nach streamText gefüllt ist.

Rufen Sie den Provider mit einer Modell-ID auf, etwa inferenceEu("qwen3-coder-480b-a35b-instruct"). Legen Sie den Provider in ein reines Servermodul, denn der Schlüssel darf nie in den Browser gelangen. Route Handler, Server Actions und API-Routen importieren ihn und streamen Ergebnisse über useChat oder Ihre eigene Oberfläche an den Client.

Für Chat-Funktionen, Zusammenfassungen und Extraktion ist gpt-oss-120b ein schneller Standard, der das Streaming in der Oberfläche flüssig hält. Für Agenten mit Tools und stopWhen wählen Sie ein Modell mit verlässlichen Tool-Aufrufen wie qwen3-coder-480b-a35b-instruct, glm-5.3 oder kimi-k3.

glm-5.3 und kimi-k3 eignen sich auch für lange Dokumente und mehrstufiges Schlussfolgern. Wenn Sie generateObject mit einem Zod-Schema nutzen, setzen Sie supportsStructuredOutputs: true erst, nachdem Sie geprüft haben, dass das Modell verlässlich gültiges JSON liefert. Andernfalls gibt das SDK dem Modell Anweisungen und validiert das Ergebnis selbst.

Ein Fehler 401 bedeutet, dass INFERENCE_EU_API_KEY in der Laufzeitumgebung des Aufrufs fehlt. Serverless- und Edge-Deployments brauchen die Variable in der Hosting-Umgebung, nicht nur in .env.local. Ein 404 entsteht meist durch einen zusätzlichen Pfad in baseURL.

„Model not found“ bedeutet, dass die übergebene ID von der ID bei inference.eu abweicht. Ist usage nach dem Streaming leer, ergänzen Sie includeUsage: true. Werden Tool-Aufrufe ignoriert, prüfen Sie die Tool-Unterstützung des Modells. Nutzen Sie dafür nicht das Paket @ai-sdk/openai: Es zielt standardmäßig auf die Responses API von OpenAI, der kompatible Provider dagegen auf Chat Completions.

Ist der Provider auf inference.eu ausgerichtet, wird jeder Prompt und jede Antwort Ihrer Anwendung in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Das AI SDK selbst ruft nur den konfigurierten Provider auf. Auch Ihre Hosting-Region spielt eine Rolle: Betreiben Sie Route Handler und Funktionen in einer EU-Region, damit Prompts nicht vorher auf Servern außerhalb Europas verarbeitet werden. Wenn Sie Telemetrie über OpenTelemetry aktivieren, prüfen Sie, wo Ihr Tracing-Backend Prompt- und Antwortattribute speichert.