---
title: "Haystack mit KI-Modellen aus der EU einrichten"
description: "Richten Sie den OpenAIChatGenerator von Haystack per api_base_url auf inference.eu aus und betreiben Sie RAG und Agenten mit Open-Weight-Modellen aus der EU."
canonical: "https://inference.eu/de/integrationen/haystack/"
language: "de"
---

Frameworks · Haystack

# Haystack mit Open-Source-Modellen aus der EU nutzen

Haystack, das quelloffene Framework von deepset, baut Such-, RAG- und Agenten-Pipelines aus kombinierbaren Komponenten. Sein \`OpenAIChatGenerator\` akzeptiert eine eigene \`api\_base\_url\`. Jede Pipeline, die Text erzeugt, läuft so auf Open-Weight-Modellen bei inference.eu, verarbeitet in europäischen Rechenzentren.

[Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Einrichtung](#setup)

1.  01API-Format: OpenAI
2.  02Rechenzentren in der EU
3.  03Durch einen AV-Vertrag abgedeckt

## In wenigen Minuten eingerichtet

1.  1

    Erstellen Sie in Ihrem inference.eu-Konto einen API-Schlüssel und speichern Sie ihn als `INFERENCE_EU_API_KEY`.

2.  2

    Installieren Sie Haystack mit `pip install haystack-ai`.

3.  3

    Erzeugen Sie `OpenAIChatGenerator` mit `api_key=Secret.from_env_var("INFERENCE_EU_API_KEY")`, `api_base_url` auf der Basis-URL von inference.eu und einer Modell-ID von inference.eu als `model`.

4.  4

    Fügen Sie den Generator Ihrer Pipeline hinzu, verbunden mit einem `ChatPromptBuilder` oder innerhalb eines `Agent`.

5.  5

    Führen Sie die Pipeline einmal mit einer Testfrage aus, um die Verbindung zu prüfen.

python

```
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_key=Secret.from_env_var("INFERENCE_EU_API_KEY"),
    api_base_url="https://api.inference.eu/v1",
    model="gpt-oss-120b",
)

result = generator.run([ChatMessage.from_user("Summarise GDPR Article 28 in two sentences.")])
print(result["replies"][0].text)
```

## Was Haystack ist

Haystack ist ein quelloffenes Python-Framework von deepset für produktive Pipelines mit Sprachmodellen. Sie verbinden Komponenten wie Retriever, Ranker, Prompt-Builder und Generatoren zu einem Pipeline-Graphen, der sich als YAML speichern, versionieren und ausrollen lässt. Die Komponente `Agent` ergänzt jeden Chat-Generator um Schleifen mit Tool-Aufrufen.

Generatoren sind die Komponenten, die ein Sprachmodell aufrufen. `OpenAIChatGenerator` spricht das Format OpenAI Chat Completions und akzeptiert über `api_base_url` einen eigenen Endpunkt. Das ist der dokumentierte Weg zu einer kompatiblen API wie inference.eu.

## So funktioniert die Konfiguration

Erzeugen Sie `OpenAIChatGenerator` mit `api_base_url` auf der Basis-URL von inference.eu mit Endung `/v1` und `model` auf einer ID von inference.eu. Übergeben Sie den Schlüssel als `Secret.from_env_var("INFERENCE_EU_API_KEY")`. Haystack löst ihn erst zur Laufzeit auf und schreibt den Wert nie in gespeicherte Pipelines.

In YAML-Pipelines stehen dieselben Werte unter den `init_parameters` des Generators, `api_key` als Secret vom Typ `env_var`. Modellparameter wie `temperature` oder `max_completion_tokens` gehören in `generation_kwargs`. Für Streaming übergeben Sie einen `streaming_callback`, zum Beispiel `print_streaming_chunk` aus Haystack.

## Welche Modelle sich eignen

Für RAG-Pipelines, die Fragen anhand abgerufener Dokumente beantworten, ist `gpt-oss-120b` ein schneller Standard, der nah am bereitgestellten Kontext bleibt. Für lange Dokumente, viele Fundstellen oder Antworten, die sorgfältig zusammengeführt werden müssen, sind `glm-5.3` und `kimi-k3` starke Optionen.

Für die Komponente `Agent` und Pipelines mit Tools wählen Sie ein Modell mit verlässlichen Tool-Aufrufen wie `qwen3-coder-480b-a35b-instruct`, `glm-5.3` oder `kimi-k3`. Eine Pipeline kann mehrere Generatoren enthalten. Nutzen Sie etwa ein schnelles Modell zum Umformulieren oder Klassifizieren von Anfragen und ein stärkeres für die endgültige Antwort.

## Fehlerbehebung

Ein Fehler 401 bedeutet, dass das Secret leer ist oder auf den falschen Schlüssel zeigt. Prüfen Sie, ob `INFERENCE_EU_API_KEY` im Prozess gesetzt ist, der die Pipeline ausführt; `Secret.from_env_var` meldet zur Laufzeit einen Fehler, wenn die Variable fehlt. Ein 404 entsteht meist durch einen zusätzlichen Pfad in `api_base_url` oder eine unbekannte Modell-ID.

Scheitert die strukturierte Ausgabe, vereinfachen Sie das Pydantic-Modell in `response_format` innerhalb von `generation_kwargs` und validieren Sie das Ergebnis. Dreht ein Agent Schleifen ohne Tool-Aufrufe, prüfen Sie die Tool-Unterstützung des Modells. Gespeicherte Pipelines mit `OPENAI_API_KEY` als Secret-Namen senden den falschen Schlüssel; passen Sie das YAML an.

## Daten bleiben in der EU

Mit `api_base_url` auf inference.eu werden die Prompts und abgerufenen Dokumente, die Ihre Pipelines an das Modell senden, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Eine Haystack-Pipeline enthält meist mehr als einen Generator: Embedder, einen Document Store, Konverter und unter Umständen Tracing. Auch diese Bausteine verarbeiten Ihre Dokumente. Wählen Sie dafür in der EU gehostete oder selbst betriebene Lösungen, damit Dokumente, Embeddings und Modellanfragen in Europa bleiben.

## Haystack

Kategorie

Frameworks

Anbieter

deepset

API-Format

OpenAI

Verarbeitung

Rechenzentren in der EU

Website

[haystack.deepset.ai](https://haystack.deepset.ai/)

Dokumentation

[docs.haystack.deepset.ai](https://docs.haystack.deepset.ai/docs/openaichatgenerator)

## Haystack: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Erzeugen Sie \`OpenAIChatGenerator\` mit \`api\_base\_url\`, \`api\_key\` und \`model\`. Haystack dokumentiert \`api\_base\_url\` für eigene Deployments. Jede Pipeline und jeder Agent mit diesem Generator sendet seine Anfragen dann an diesen Endpunkt statt an OpenAI.

Nutzen Sie \`Secret.from\_env\_var("INFERENCE\_EU\_API\_KEY")\`. Haystack liest den Wert erst zur Laufzeit und speichert beim Serialisieren nur den Variablennamen. Der Schlüssel landet so nie in YAML-Dateien, Logs, Notebooks oder in der Versionsverwaltung.

gpt-oss-120b ist ein schneller Standard für RAG-Antworten auf Basis abgerufener Dokumente. GLM-5.3 und Kimi K3 eignen sich für lange Dokumente und sorgfältige Synthese. Qwen3 Coder 480B, GLM-5.3 und Kimi K3 arbeiten gut mit der Komponente \`Agent\` und Tools.

Ja. Übergeben Sie beim Erzeugen des Generators oder beim Aufruf von \`run\` einen \`streaming\_callback\`, etwa \`print\_streaming\_chunk\` aus Haystack oder eine eigene Funktion. Jeder Chunk wird an den Callback übergeben, sobald er von inference.eu eintrifft.

Ja. Übergeben Sie dem Agenten einen auf inference.eu eingestellten \`OpenAIChatGenerator\` als \`chat\_generator\`, zusammen mit Ihren Tools. Wählen Sie ein Modell mit verlässlichen Tool-Aufrufen, damit die Agentenschleife sauber zum Abschluss kommt.

Ja. Übergeben Sie ein Pydantic-Modell oder JSON-Schema als \`response\_format\` in \`generation\_kwargs\`. Wie streng das Schema eingehalten wird, hängt vom Modell ab. Validieren Sie daher die Antwort und halten Sie Schemas einfach, das liefert die verlässlichsten Ergebnisse.

Setzen Sie unter den \`init\_parameters\` des Generators \`api\_base\_url\` auf die Basis-URL von inference.eu, \`model\` auf die Modell-ID und \`api\_key\` auf ein Secret vom Typ \`env\_var\` mit dem Namen \`INFERENCE\_EU\_API\_KEY\`. Laden Sie die Pipeline wie gewohnt mit \`Pipeline.loads\`.

Das Secret hat keinen oder den falschen Schlüssel geliefert. Prüfen Sie, ob die Variable in der Umgebung gesetzt ist, in der die Pipeline läuft, und ob gespeicherte Pipelines noch \`OPENAI\_API\_KEY\` als Secret-Namen verwenden.

Diese Seite behandelt die Textgenerierung. Für Embedder wählen Sie ein Modell, dessen Hosting Ihren Anforderungen entspricht, am besten in der EU oder selbst betrieben. So bleiben Dokumente und Suchanfragen zusammen mit den Anfragen Ihres Generators in Europa.

Haystack sendet Daten an die konfigurierten Komponenten. Zusätzlich erfasst es standardmäßig anonyme Nutzungstelemetrie ohne Dokumente oder Prompts; mit \`HAYSTACK\_TELEMETRY\_ENABLED=False\` schalten Sie sie ab. Prüfen Sie Document Stores und Tracing-Werkzeuge darauf, wo sie Daten speichern.

[Frage stellen](https://inference.eu/de/kontakt/)

## Verwandte Seiten

[Alle Integrationen](https://inference.eu/de/integrationen/)

-   [LlamaIndexVerbinden Sie LlamaIndex über die Klasse OpenAILike mit inference.eu und betreiben Sie RAG-Pipelines und Agenten mit Open-Weight-Modellen aus der EU.Frameworks](https://inference.eu/de/integrationen/llamaindex/)
-   [LangChainVerbinden Sie ChatOpenAI aus LangChain per base\_url mit inference.eu und betreiben Sie Chains, Agenten und LangGraph mit Open-Weight-Modellen aus der EU.Frameworks](https://inference.eu/de/integrationen/langchain/)
-   [Pydantic AIVerbinden Sie Pydantic-AI-Agenten über OpenAICompatibleProvider mit inference.eu und erhalten Sie typisierte Ausgaben von Open-Weight-Modellen aus der EU.Frameworks](https://inference.eu/de/integrationen/pydantic-ai/)

## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

-   Antwort innerhalb eines Werktags
-   Preise für Ihr Volumen
-   AV-Vertrag unterschriftsreif