Pydantic AI mit Open-Source-Modellen aus der EU nutzen

Pydantic AI ist ein quelloffenes Python-Framework für Agenten und modellgestützte Funktionen. Tools deklarieren Sie als typisierte Python-Funktionen, die erwartete Ausgabe als Pydantic-Modell. Das Framework übernimmt die Unterhaltung mit dem Modell, Tool-Aufrufe, Wiederholungen bei Validierungsfehlern und Streaming.

Es unterstützt viele Anbieter. Für Dienste ohne eigene Integration ist OpenAICompatibleProvider zusammen mit OpenAIChatModel der dokumentierte Weg, der das Format Chat Completions spricht. So verbinden Sie Pydantic AI mit inference.eu und behalten denselben Agenten-Code.

OpenAICompatibleProvider erwartet einen Namen, base_url (die Basis-URL von inference.eu mit Endung /v1) und api_key. Halten Sie den Namen stabil, etwa inference-eu. Pydantic AI vermerkt ihn an jeder Antwort und entscheidet daran, welche Daten früherer Runden zurückgesendet werden dürfen.

OpenAIChatModel erhält die Modell-ID von inference.eu und den Provider. Nutzen Sie diese Klasse statt OpenAIResponsesModel, denn Chat Completions ist das am breitesten unterstützte Format. Vermeiden Sie OpenAIProvider mit eigener URL, da er Modelle und Funktionen von OpenAI voraussetzt. Bei Problemen passen Sie das als profile übergebene OpenAIModelProfile an.

Pydantic AI nutzt Tool-Aufrufe für strukturierte Ausgaben und für Ihre eigenen Tools. Am besten arbeiten daher Modelle mit verlässlichen Tool-Aufrufen. glm-5.3 und kimi-k3 sind gute Standards für Agenten mit mehreren Tools oder komplexen Ausgabetypen und halten sich gut an verschachtelte Schemas.

Für Extraktion, Klassifizierung und andere schnelle typisierte Aufrufe hält gpt-oss-120b die Wartezeit gering. Für Agenten, die Code erzeugen oder prüfen, nutzen Sie qwen3-coder-480b-a35b-instruct. Sie können mehrere Modelle auf demselben Provider anlegen und verschiedenen Agenten zuweisen, etwa einem schnellen Triage-Agenten, der an einen stärkeren Spezialisten übergibt.

Ein Fehler 401 bedeutet, dass der Schlüssel fehlt oder falsch ist. Ein 404 entsteht meist durch einen zusätzlichen Pfad in base_url oder eine Modell-ID, die es bei inference.eu nicht gibt.

Bricht der Agent nach wiederholter Validierung der Ausgabe mit einem Fehler ab, vereinfachen Sie das Ausgabemodell oder erhöhen Sie output_retries und wählen Sie ein Modell mit starken Tool-Aufrufen. Werden Tool-Definitionen abgelehnt, setzen Sie im Profil openai_supports_strict_tool_definition=False. Scheitert eine Anfrage an mehreren System-Nachrichten, setzen Sie openai_chat_supports_multiple_system_messages=False.

Mit dem Provider auf inference.eu werden alle Prompts, Tool-Ergebnisse und Ausgaben, die Ihre Agenten mit dem Modell austauschen, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Pydantic AI selbst ruft nur den konfigurierten Provider auf. Es unterstützt OpenTelemetry, und Logfire kann bei aktivierter Instrumentierung Prompts und Ausgaben aufzeichnen. Prüfen Sie, wo Ihr Tracing-Backend diese Daten speichert. Auch Tools, die Ihre Agenten aufrufen, etwa Such-APIs, erhalten Daten nach ihren eigenen Bedingungen.