---
title: "Pydantic AI mit KI-Modellen aus der EU einrichten"
description: "Verbinden Sie Pydantic-AI-Agenten über OpenAICompatibleProvider mit inference.eu und erhalten Sie typisierte Ausgaben von Open-Weight-Modellen aus der EU."
canonical: "https://inference.eu/de/integrationen/pydantic-ai/"
language: "de"
---

Frameworks · Pydantic AI

# Pydantic AI mit Open-Source-Modellen aus der EU nutzen

Pydantic AI ist ein Python-Framework für Agenten vom Team hinter Pydantic, aufgebaut auf typsicheren Tools und validierten Ausgaben. Sein \`OpenAICompatibleProvider\` verbindet sich mit jedem OpenAI-kompatiblen Endpunkt. So laufen Ihre Agenten auf Open-Weight-Modellen bei inference.eu, verarbeitet in europäischen Rechenzentren.

[Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Einrichtung](#setup)

1.  01API-Format: OpenAI
2.  02Rechenzentren in der EU
3.  03Durch einen AV-Vertrag abgedeckt

## In wenigen Minuten eingerichtet

1.  1

    Erstellen Sie in Ihrem inference.eu-Konto einen API-Schlüssel und speichern Sie ihn als `INFERENCE_EU_API_KEY`.

2.  2

    Installieren Sie die Bibliothek mit `pip install pydantic-ai-slim[openai]` oder das vollständige Paket `pydantic-ai`.

3.  3

    Erzeugen Sie einen `OpenAICompatibleProvider` namens `inference-eu` mit `base_url` auf der Basis-URL von inference.eu und Ihrem Schlüssel.

4.  4

    Verpacken Sie ihn in `OpenAIChatModel` mit einer Modell-ID von inference.eu und übergeben Sie das Modell an `Agent`.

5.  5

    Führen Sie den Agenten mit `run_sync` oder `run` aus und prüfen Sie die typisierte Ausgabe.

python

```
import os
from pydantic import BaseModel
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    "glm-5.3",
    provider=OpenAICompatibleProvider(
        "inference-eu",
        base_url="https://api.inference.eu/v1",
        api_key=os.environ["INFERENCE_EU_API_KEY"],
    ),
)

class Invoice(BaseModel):
    supplier: str
    total_eur: float

agent = Agent(model, output_type=Invoice)
print(agent.run_sync("Supplier: Acme GmbH, total due 1.240,50 EUR").output)
```

## Was Pydantic AI ist

Pydantic AI ist ein quelloffenes Python-Framework für Agenten und modellgestützte Funktionen. Tools deklarieren Sie als typisierte Python-Funktionen, die erwartete Ausgabe als Pydantic-Modell. Das Framework übernimmt die Unterhaltung mit dem Modell, Tool-Aufrufe, Wiederholungen bei Validierungsfehlern und Streaming.

Es unterstützt viele Anbieter. Für Dienste ohne eigene Integration ist `OpenAICompatibleProvider` zusammen mit `OpenAIChatModel` der dokumentierte Weg, der das Format Chat Completions spricht. So verbinden Sie Pydantic AI mit inference.eu und behalten denselben Agenten-Code.

## So funktioniert die Konfiguration

`OpenAICompatibleProvider` erwartet einen Namen, `base_url` (die Basis-URL von inference.eu mit Endung `/v1`) und `api_key`. Halten Sie den Namen stabil, etwa `inference-eu`. Pydantic AI vermerkt ihn an jeder Antwort und entscheidet daran, welche Daten früherer Runden zurückgesendet werden dürfen.

`OpenAIChatModel` erhält die Modell-ID von inference.eu und den Provider. Nutzen Sie diese Klasse statt `OpenAIResponsesModel`, denn Chat Completions ist das am breitesten unterstützte Format. Vermeiden Sie `OpenAIProvider` mit eigener URL, da er Modelle und Funktionen von OpenAI voraussetzt. Bei Problemen passen Sie das als `profile` übergebene `OpenAIModelProfile` an.

## Welche Modelle sich eignen

Pydantic AI nutzt Tool-Aufrufe für strukturierte Ausgaben und für Ihre eigenen Tools. Am besten arbeiten daher Modelle mit verlässlichen Tool-Aufrufen. `glm-5.3` und `kimi-k3` sind gute Standards für Agenten mit mehreren Tools oder komplexen Ausgabetypen und halten sich gut an verschachtelte Schemas.

Für Extraktion, Klassifizierung und andere schnelle typisierte Aufrufe hält `gpt-oss-120b` die Wartezeit gering. Für Agenten, die Code erzeugen oder prüfen, nutzen Sie `qwen3-coder-480b-a35b-instruct`. Sie können mehrere Modelle auf demselben Provider anlegen und verschiedenen Agenten zuweisen, etwa einem schnellen Triage-Agenten, der an einen stärkeren Spezialisten übergibt.

## Fehlerbehebung

Ein Fehler 401 bedeutet, dass der Schlüssel fehlt oder falsch ist. Ein 404 entsteht meist durch einen zusätzlichen Pfad in `base_url` oder eine Modell-ID, die es bei inference.eu nicht gibt.

Bricht der Agent nach wiederholter Validierung der Ausgabe mit einem Fehler ab, vereinfachen Sie das Ausgabemodell oder erhöhen Sie `output_retries` und wählen Sie ein Modell mit starken Tool-Aufrufen. Werden Tool-Definitionen abgelehnt, setzen Sie im Profil `openai_supports_strict_tool_definition=False`. Scheitert eine Anfrage an mehreren System-Nachrichten, setzen Sie `openai_chat_supports_multiple_system_messages=False`.

## Daten bleiben in der EU

Mit dem Provider auf inference.eu werden alle Prompts, Tool-Ergebnisse und Ausgaben, die Ihre Agenten mit dem Modell austauschen, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Pydantic AI selbst ruft nur den konfigurierten Provider auf. Es unterstützt OpenTelemetry, und Logfire kann bei aktivierter Instrumentierung Prompts und Ausgaben aufzeichnen. Prüfen Sie, wo Ihr Tracing-Backend diese Daten speichert. Auch Tools, die Ihre Agenten aufrufen, etwa Such-APIs, erhalten Daten nach ihren eigenen Bedingungen.

## Pydantic AI

Kategorie

Frameworks

Anbieter

Pydantic

API-Format

OpenAI

Verarbeitung

Rechenzentren in der EU

Website

[pydantic.dev](https://pydantic.dev/docs/ai/overview/)

Dokumentation

[pydantic.dev](https://pydantic.dev/docs/ai/models/compatible-apis/)

## Pydantic AI: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Erzeugen Sie einen \`OpenAICompatibleProvider\` mit Namen, \`base\_url\` und \`api\_key\`, verpacken Sie ihn mit Ihrer Modell-ID in \`OpenAIChatModel\` und übergeben Sie das Modell an \`Agent\`. Das ist der dokumentierte Weg für Dienste ohne eigenen Pydantic-AI-Provider.

Nehmen Sie \`OpenAICompatibleProvider\`. \`OpenAIProvider\` akzeptiert zwar ebenfalls eine \`base\_url\`, ist aber für OpenAI selbst oder einen transparenten Proxy davor gedacht und setzt OpenAI-spezifische Funktionen voraus. Der kompatible Provider wendet ein für andere Dienste passendes Profil an.

GLM-5.3 und Kimi K3 sind gute Standards für Agenten mit mehreren Tools oder verschachtelten Ausgabetypen. gpt-oss-120b eignet sich für schnelle Extraktion und Klassifizierung, Qwen3 Coder 480B für Agenten, die mit Code arbeiten.

Ja. Setzen Sie \`output\_type\` auf ein Pydantic-Modell, und der Agent liefert eine validierte Instanz. Standardmäßig nutzt Pydantic AI dafür Tool-Aufrufe und wiederholt die Anfrage mit dem Validierungsfehler, wenn die erste Antwort nicht zum Schema passt.

Das Modell hat innerhalb der erlaubten Wiederholungen keine gültige Ausgabe geliefert. Vereinfachen Sie das Ausgabemodell, ergänzen Sie Feldbeschreibungen, erhöhen Sie \`output\_retries\` oder wählen Sie ein Modell mit stärkeren Tool-Aufrufen wie GLM-5.3 oder Kimi K3.

Ja. Streamen Sie Text mit \`agent.run\_stream(...)\` oder teilweise validierte strukturierte Ausgaben, während sie eintreffen. inference.eu streamt Tokens im Standardformat von Chat Completions, das \`OpenAIChatModel\` erwartet, einschließlich der Token-Angaben am Ende des Streams.

Pydantic AI vermerkt den Namen an jeder Antwort und entscheidet daran, welche Daten aus früheren Antworten an den Dienst zurückgehen dürfen. Ein fester Name wie \`inference-eu\` hält den Nachrichtenverlauf über Läufe und gespeicherte Unterhaltungen hinweg konsistent.

Nutzen Sie \`OpenAIChatModel\`. Chat Completions ist das Format, das alle Modelle bei inference.eu unterstützen, und das, was Pydantic AI für kompatible Dienste empfiehlt. Ihr Agenten-Code bleibt in beiden Fällen gleich, nur die Modellklasse unterscheidet sich.

Nein. Tools sind einfache Python-Funktionen, ihre Schemas erzeugt Pydantic AI. Lehnt ein Modell strikte Tool-Definitionen ab, setzen Sie im Profil \`openai\_supports\_strict\_tool\_definition=False\`. Die Tools selbst und Ihr übriger Agenten-Code bleiben dabei unverändert.

Nur wenn Sie das aktivieren. Pydantic AI ruft ausschließlich den konfigurierten Provider auf. Schalten Sie Logfire oder einen anderen OpenTelemetry-Exporter ein, können dort Prompts und Ausgaben aufgezeichnet werden. Legen Sie daher vorher fest, wo diese Daten gespeichert werden.

[Frage stellen](https://inference.eu/de/kontakt/)

## Verwandte Seiten

[Alle Integrationen](https://inference.eu/de/integrationen/)

-   [CrewAIBetreiben Sie CrewAI-Agenten und Crews mit Open-Weight-Modellen aus EU-Rechenzentren, indem Sie der Klasse LLM Basis-URL und Schlüssel von inference.eu geben.Frameworks](https://inference.eu/de/integrationen/crewai/)
-   [OpenAI SDK (Python and JavaScript)Richten Sie das offizielle OpenAI-SDK für Python oder JavaScript per base\_url auf inference.eu aus und nutzen Sie Open-Weight-Modelle aus der EU.SDKs](https://inference.eu/de/integrationen/openai-sdk/)
-   [LangChainVerbinden Sie ChatOpenAI aus LangChain per base\_url mit inference.eu und betreiben Sie Chains, Agenten und LangGraph mit Open-Weight-Modellen aus der EU.Frameworks](https://inference.eu/de/integrationen/langchain/)

## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

-   Antwort innerhalb eines Werktags
-   Preise für Ihr Volumen
-   AV-Vertrag unterschriftsreif