inference.eu

SDKs · Anthropic SDK (Python and TypeScript)

Das Anthropic-SDK mit Open-Source-Modellen aus der EU nutzen

inference.eu akzeptiert neben dem OpenAI-Format auch das Format Anthropic Messages. Baut Ihre Anwendung auf dem offiziellen Anthropic-SDK auf, behalten Sie den Code, ändern Basis-URL und Schlüssel und betreiben ihn mit Open-Weight-Modellen in europäischen Rechenzentren.

Vertrieb kontaktierenEinrichtung
  1. 01API-Format: Anthropic Messages
  2. 02Rechenzentren in der EU
  3. 03Durch einen AV-Vertrag abgedeckt

In wenigen Minuten eingerichtet

  1. 1

    Erstellen Sie in Ihrem inference.eu-Konto einen API-Schlüssel und speichern Sie ihn als INFERENCE_EU_API_KEY.

  2. 2

    Installieren Sie das SDK mit pip install anthropic oder npm install @anthropic-ai/sdk.

  3. 3

    Erzeugen Sie den Client mit base_url (Python) oder baseURL (TypeScript) auf dem Host von inference.eu, ohne das abschließende /v1.

  4. 4

    Übergeben Sie Ihren Schlüssel als api_key und ersetzen Sie den Modellnamen durch eine Modell-ID von inference.eu, etwa kimi-k3.

  5. 5

    Prüfen Sie die Verbindung mit einer kurzen Anfrage an messages.create und ergänzen Sie danach Streaming oder Tools.

python
import os
from anthropic import Anthropic

# The Anthropic SDK adds /v1/messages itself, so drop the trailing /v1.
client = Anthropic(
    base_url="https://api.inference.eu/v1".removesuffix("/v1"),
    api_key=os.environ["INFERENCE_EU_API_KEY"],
)

message = client.messages.create(
    model="kimi-k3",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Summarise GDPR Article 28 in two sentences."}],
)
print(message.content[0].text)

# TypeScript:
# const client = new Anthropic({ baseURL: "https://api.inference.eu/v1".replace(/\/v1$/, ""), apiKey: process.env.INFERENCE_EU_API_KEY });

Warum das Anthropic-SDK mit inference.eu

Viele Teams haben ihre Anwendungen zuerst auf der Anthropic Messages API aufgebaut, mit Content-Blöcken, eigenem Feld für den System-Prompt und dem Tool-Use-Format. Diesen Code für eine andere API umzuschreiben kostet Zeit und birgt Risiken. Da inference.eu das Messages-Format direkt spricht, bringen Sie denselben Code auf Open-Weight-Modelle, ohne Aufbau der Anfragen oder Auswertung der Antworten zu ändern.

Die offiziellen SDKs übernehmen weiterhin Wiederholungen, Timeouts, Streaming-Ereignisse und typisierte Fehler. Es ändern sich nur Endpunkt, Schlüssel und Modellname. Die Umstellung bleibt klein und gut prüfbar.

So funktioniert die Konfiguration

Das Anthropic-SDK hängt /v1/messages selbst an die Basis-URL an. Setzen Sie base_url daher auf den Host von inference.eu ohne abschließendes /v1; das Beispiel entfernt es mit removesuffix. In TypeScript heißt die Option baseURL.

Übergeben Sie Ihren Schlüssel als api_key. Das SDK sendet ihn im Header x-api-key, den inference.eu akzeptiert. Beide SDKs lesen außerdem ANTHROPIC_BASE_URL und ANTHROPIC_API_KEY aus der Umgebung, wenn Sie nichts übergeben. Das hilft bei Werkzeugen, die Sie nicht ändern können. In eigenem Code machen explizite Argumente mit INFERENCE_EU_API_KEY den Anbieter eindeutig.

Welche Modelle sich eignen

Tragen Sie im Feld model die Modell-ID von inference.eu ein. kimi-k3 und glm-5.3 sind gute allgemeine Optionen für Anwendungen auf Basis der Messages API: Sie kommen gut mit langen System-Prompts, mehrstufigen Unterhaltungen und Tool-Aufrufen zurecht.

Für Codegenerierung oder Agenten, die Dateien bearbeiten, ist qwen3-coder-480b-a35b-instruct eine starke Wahl. Für schnelle Klassifizierung, Extraktion oder große Mengen hält gpt-oss-120b die Antwortzeit niedrig. Da sich nur der Wert model ändert, schicken Sie dieselbe Anfrage an mehrere Modelle und vergleichen die Ergebnisse mit Ihren eigenen Daten.

Fehlerbehebung

Ein Fehler 404 bedeutet fast immer, dass die Basis-URL noch auf /v1 endet und das SDK /v1/v1/messages aufruft. Entfernen Sie das Suffix. Ein 401 AuthenticationError heißt, dass der Schlüssel fehlt oder falsch ist; prüfen Sie, ob nicht ein alter ANTHROPIC_API_KEY gelesen wird.

„Model not found“ bedeutet, dass in model noch ein Claude-Modellname steht statt einer ID von inference.eu. max_tokens ist in der Messages API Pflicht und gehört in jede Anfrage. Claude-spezifische Funktionen wie bestimmte Beta-Header oder serverseitige Tools gelten für Open-Weight-Modelle unter Umständen nicht. Entfernen Sie sie, wenn eine Anfrage abgelehnt wird.

Daten bleiben in der EU

Mit der Basis-URL auf inference.eu wird jede Anfrage, die Ihre Anwendung über das SDK sendet, in EU-Rechenzentren verarbeitet. Prompts und Antworten werden nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Das SDK spricht nur mit der konfigurierten Basis-URL. Prüfen Sie, ob jeder Client in Ihrem Code sie nutzt, auch Clients aus Bibliotheken, die ANTHROPIC_BASE_URL lesen. Logging-, Tracing- und Evaluationsdienste in Ihrem Stack speichern unter Umständen ebenfalls Prompts. Klären Sie daher, wo diese Dienste ihre Daten ablegen.

Anthropic SDK (Python and TypeScript): häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Frage stellen

Verwandte Seiten

Alle Integrationen

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

  • Antwort innerhalb eines Werktags
  • Preise für Ihr Volumen
  • AV-Vertrag unterschriftsreif