inference.eu

LLM-API mit Hosting in der EU

Europäische KI für Entwickler: Claude, Gemini und offene LLMs über eine API

Schicken Sie Ihre Prompts an Claude, Gemini und Open-Weight-Modelle in europäischen Rechenzentren statt an einen US-Anbieter. Die API spricht das OpenAI-Format und auch das Anthropic-Messages-Format. Ihr bestehender Code läuft weiter, sobald Sie Base-URL und API-Schlüssel ändern.

So funktioniert es

  • Funktioniert mit dem OpenAI-SDK

    Python, JavaScript, LangChain, LlamaIndex, das Vercel AI SDK und alles andere, was das OpenAI-Format spricht. Sie ändern Base-URL und Schlüssel, sonst nichts.

  • Auch im Anthropic-Format

    Clients für die Anthropic Messages API rufen dieselben Open-Weight-Modelle auf. Sie tragen den EU-Endpunkt ein und wählen ein Modell.

  • Modellwechsel per Modellname

    Alle Modelle liegen hinter demselben Endpunkt. Um ein anderes auszuprobieren, ändern Sie nur den Modellnamen in der Anfrage.

  • Verarbeitung in der EU

    Prompts und Antworten werden in europäischen Rechenzentren verarbeitet. Fällt ein Standort aus, übernimmt ein anderer Standort in Europa.

  • Kein Training mit Ihren Daten

    Was Sie senden, dient nur dazu, Ihre Anfrage zu beantworten. Es fließt in keinen Trainingslauf.

  • Chat, Code, Embeddings und Sprache

    Text- und Codegenerierung, Embeddings und Reranking für die Suche, Spracherkennung und Bildmodelle – alles mit einem Schlüssel.

  • Abrechnung pro Token, in Euro

    Sie zahlen für die Tokens, die Sie nutzen, auf einer Rechnung für alle Modelle.

Alle Modelle über einen EU-Endpunkt

Claude, Gemini und Open-Weight-Modelle für Chat, Code, Embeddings, Reranking, Sprache und Bilder. Wechseln Sie das Modell, indem Sie einen String ändern.

Chat

Reasoning

Von OpenAI wechseln, indem Sie eine Zeile ändern

Die API nutzt das Anfrageformat von OpenAI, Ihre SDKs und Frameworks funktionieren also wie bisher. Ändern Sie Base-URL und Schlüssel und vergleichen Sie Modelle mit Ihren eigenen Prompts.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.inference.eu/v1",
    api_key="INFERENCE_EU_API_KEY",
)

response = client.chat.completions.create(
    model="mistral-small-4-119b",
    messages=[{"role": "user", "content": "Summarise this contract in three bullet points"}],
)
print(response.choices[0].message.content)

Wofür Teams die API nutzen

  • KI-Funktionen in SaaS-Produkten

    Bauen Sie Chat, Zusammenfassungen oder Suche in Ihr Produkt ein, ohne die Daten Ihrer Kunden aus der EU zu geben.

  • Suche in internen Dokumenten

    Betten Sie Verträge, Tickets und Wikis ein und beantworten Sie Fragen dazu per Retrieval-Augmented Generation.

  • Weg vom US-KI-Anbieter

    Behalten Sie Prompts und Code, richten Sie sie auf einen EU-Endpunkt und vergleichen Sie die Qualität Modell für Modell.

  • Agenten und Coding-Tools

    Betreiben Sie Coding-Assistenten und Agenten mit Open-Weight-Modellen in der EU, im OpenAI- oder im Anthropic-Format.

Modelle: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Frage stellen

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

  • Antwort innerhalb eines Werktags
  • Preise für Ihr Volumen
  • AV-Vertrag unterschriftsreif