Haystack mit Open-Source-Modellen aus der EU nutzen

Haystack ist ein quelloffenes Python-Framework von deepset für produktive Pipelines mit Sprachmodellen. Sie verbinden Komponenten wie Retriever, Ranker, Prompt-Builder und Generatoren zu einem Pipeline-Graphen, der sich als YAML speichern, versionieren und ausrollen lässt. Die Komponente Agent ergänzt jeden Chat-Generator um Schleifen mit Tool-Aufrufen.

Generatoren sind die Komponenten, die ein Sprachmodell aufrufen. OpenAIChatGenerator spricht das Format OpenAI Chat Completions und akzeptiert über api_base_url einen eigenen Endpunkt. Das ist der dokumentierte Weg zu einer kompatiblen API wie inference.eu.

Erzeugen Sie OpenAIChatGenerator mit api_base_url auf der Basis-URL von inference.eu mit Endung /v1 und model auf einer ID von inference.eu. Übergeben Sie den Schlüssel als Secret.from_env_var("INFERENCE_EU_API_KEY"). Haystack löst ihn erst zur Laufzeit auf und schreibt den Wert nie in gespeicherte Pipelines.

In YAML-Pipelines stehen dieselben Werte unter den init_parameters des Generators, api_key als Secret vom Typ env_var. Modellparameter wie temperature oder max_completion_tokens gehören in generation_kwargs. Für Streaming übergeben Sie einen streaming_callback, zum Beispiel print_streaming_chunk aus Haystack.

Für RAG-Pipelines, die Fragen anhand abgerufener Dokumente beantworten, ist gpt-oss-120b ein schneller Standard, der nah am bereitgestellten Kontext bleibt. Für lange Dokumente, viele Fundstellen oder Antworten, die sorgfältig zusammengeführt werden müssen, sind glm-5.3 und kimi-k3 starke Optionen.

Für die Komponente Agent und Pipelines mit Tools wählen Sie ein Modell mit verlässlichen Tool-Aufrufen wie qwen3-coder-480b-a35b-instruct, glm-5.3 oder kimi-k3. Eine Pipeline kann mehrere Generatoren enthalten. Nutzen Sie etwa ein schnelles Modell zum Umformulieren oder Klassifizieren von Anfragen und ein stärkeres für die endgültige Antwort.

Ein Fehler 401 bedeutet, dass das Secret leer ist oder auf den falschen Schlüssel zeigt. Prüfen Sie, ob INFERENCE_EU_API_KEY im Prozess gesetzt ist, der die Pipeline ausführt; Secret.from_env_var meldet zur Laufzeit einen Fehler, wenn die Variable fehlt. Ein 404 entsteht meist durch einen zusätzlichen Pfad in api_base_url oder eine unbekannte Modell-ID.

Scheitert die strukturierte Ausgabe, vereinfachen Sie das Pydantic-Modell in response_format innerhalb von generation_kwargs und validieren Sie das Ergebnis. Dreht ein Agent Schleifen ohne Tool-Aufrufe, prüfen Sie die Tool-Unterstützung des Modells. Gespeicherte Pipelines mit OPENAI_API_KEY als Secret-Namen senden den falschen Schlüssel; passen Sie das YAML an.

Mit api_base_url auf inference.eu werden die Prompts und abgerufenen Dokumente, die Ihre Pipelines an das Modell senden, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Eine Haystack-Pipeline enthält meist mehr als einen Generator: Embedder, einen Document Store, Konverter und unter Umständen Tracing. Auch diese Bausteine verarbeiten Ihre Dokumente. Wählen Sie dafür in der EU gehostete oder selbst betriebene Lösungen, damit Dokumente, Embeddings und Modellanfragen in Europa bleiben.