--- title: "LlamaIndex mit KI-Modellen aus der EU einrichten" description: "Verbinden Sie LlamaIndex über die Klasse OpenAILike mit inference.eu und betreiben Sie RAG-Pipelines und Agenten mit Open-Weight-Modellen aus der EU." canonical: "https://inference.eu/de/integrationen/llamaindex/" language: "de" --- Frameworks · LlamaIndex # LlamaIndex mit Open-Source-Modellen aus der EU nutzen LlamaIndex ist ein Framework für RAG-Pipelines und Agenten über Ihren eigenen Dokumenten. Die Klasse \`OpenAILike\` verbindet sich mit jeder OpenAI-kompatiblen API. Query Engines, Chat Engines und Agenten laufen so auf Open-Weight-Modellen bei inference.eu, verarbeitet in europäischen Rechenzentren. [Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Einrichtung](#setup) 1. 01API-Format: OpenAI 2. 02Rechenzentren in der EU 3. 03Durch einen AV-Vertrag abgedeckt ## In wenigen Minuten eingerichtet 1. 1 Erstellen Sie in Ihrem inference.eu-Konto einen API-Schlüssel und speichern Sie ihn als `INFERENCE_EU_API_KEY`. 2. 2 Installieren Sie die Integration mit `pip install llama-index-llms-openai-like`. 3. 3 Erzeugen Sie `OpenAILike` mit `api_base` auf der Basis-URL von inference.eu, Ihrem Schlüssel und einer Modell-ID von inference.eu als `model`. 4. 4 Setzen Sie `is_chat_model=True`, `is_function_calling_model=True` und ein zum Modell passendes `context_window`. 5. 5 Weisen Sie das Modell `Settings.llm` zu oder übergeben Sie es an Query Engine oder Agent und starten Sie eine Testabfrage. python ``` import os from llama_index.core import Settings from llama_index.llms.openai_like import OpenAILike llm = OpenAILike( model="glm-5.3", api_base="https://api.inference.eu/v1", api_key=os.environ["INFERENCE_EU_API_KEY"], is_chat_model=True, is_function_calling_model=True, context_window=131072, ) Settings.llm = llm print(llm.complete("Summarise GDPR Article 28 in two sentences.")) ``` ## Was LlamaIndex ist LlamaIndex ist ein quelloffenes Daten-Framework für Anwendungen mit Sprachmodellen. Es lädt und zerlegt Dokumente, teilt sie in Knoten auf, baut Indizes und findet für jede Frage den passenden Kontext. Darauf setzen Query Engines, Chat Engines, Agenten und ereignisgesteuerte Workflows auf. LlamaIndex trennt das Sprachmodell vom Rest der Pipeline. Jede Komponente kann ein LLM-Objekt nutzen, und `OpenAILike` ist die Klasse für Drittanbieter-APIs im OpenAI-Format. Setzen Sie sie einmal in `Settings.llm`, und alle Indizes und Engines Ihrer Anwendung nutzen inference.eu. ## So funktioniert die Konfiguration `OpenAILike` erwartet `api_base` (die Basis-URL von inference.eu mit Endung `/v1`), `api_key` und `model`. Anders als die einfache Klasse `OpenAI` setzt sie keine Modellfähigkeiten voraus, deshalb zählen drei Einstellungen. `is_chat_model=True` schickt Anfragen an den Chat-Endpunkt; standardmäßig wird der alte Completion-Endpunkt genutzt. `is_function_calling_model=True` erlaubt Agenten native Tool-Aufrufe, sonst weichen sie auf textbasiertes Schlussfolgern aus. `context_window` steht standardmäßig auf 3.900 Tokens, weit unter dem, was aktuelle Modelle verarbeiten. Setzen Sie den echten Wert des Modells. LlamaIndex bestimmt daran, wie viele abgerufene Abschnitte in einen Prompt passen. ## Welche Modelle sich eignen Für Fragen an Dokumente liefert `gpt-oss-120b` schnelle, belegte Antworten bei geringer Wartezeit. Für lange Dokumente oder Fragen, die viele abgerufene Abschnitte zusammenführen, kommen `glm-5.3` und `kimi-k3` gut mit großem Kontext und sorgfältigem Schlussfolgern zurecht. Für `FunctionAgent` und Workflows mit mehreren Tools wählen Sie ein Modell mit verlässlichen Tool-Aufrufen, etwa `glm-5.3`, `kimi-k3` oder `qwen3-coder-480b-a35b-instruct`. Sie können auch mehrere Modelle in einer Anwendung kombinieren, zum Beispiel ein schnelles für das Umformulieren von Suchanfragen und ein stärkeres für die endgültige Antwort. ## Fehlerbehebung Ein Fehler 401 bedeutet, dass der Schlüssel fehlt oder falsch ist. Ein 404 entsteht meist durch einen zusätzlichen Pfad in `api_base` oder weil `is_chat_model` noch auf `False` steht und LlamaIndex den alten Completion-Endpunkt aufruft. Setzen Sie den Wert auf `True`. Ruft ein Agent nie Tools auf und antwortet nur mit Text, setzen Sie `is_function_calling_model=True`. Ignorieren Antworten den Großteil des Kontexts oder treten Längenfehler auf, prüfen Sie `context_window`: Zu niedrig kürzt LlamaIndex den Kontext, zu hoch überschreiten Anfragen das Limit des Modells. Die einfache Klasse `OpenAI` lehnt unbekannte Modell-IDs ab. ## Daten bleiben in der EU Mit `OpenAILike` auf inference.eu werden die Fragen und Dokumentabschnitte, die LlamaIndex an das Modell sendet, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab. Zu einer vollständigen RAG-Pipeline gehören außerdem Embeddings, eine Vektordatenbank und unter Umständen ein Dokumentenparser oder ein Observability-Werkzeug. Auch diese verarbeiten Ihre Dokumente. Wählen Sie dafür in der EU gehostete oder selbst betriebene Lösungen, damit Dokumente, Embeddings und Modellanfragen in Europa bleiben. ## LlamaIndex Kategorie Frameworks Anbieter LlamaIndex API-Format OpenAI Verarbeitung Rechenzentren in der EU Website [www.llamaindex.ai](https://www.llamaindex.ai/) Dokumentation [developers.llamaindex.ai](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/) ## LlamaIndex: häufige Fragen Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt. Installieren Sie \`llama-index-llms-openai-like\` und erzeugen Sie \`OpenAILike\` mit \`api\_base\`, \`api\_key\` und \`model\`. Setzen Sie \`is\_chat\_model=True\` und ein realistisches \`context\_window\` und weisen Sie das Objekt \`Settings.llm\` zu, damit alle Engines und Agenten es nutzen. Die Klasse \`OpenAI\` prüft Modellnamen gegen die eigene Liste von OpenAI und leitet daraus Fähigkeiten ab. \`OpenAILike\` akzeptiert jede Modell-ID und lässt Sie die Fähigkeiten selbst angeben. Genau das brauchen Drittanbieter-APIs wie inference.eu. gpt-oss-120b liefert für die meisten Fragen an Dokumente schnelle, belegte Antworten. GLM-5.3 und Kimi K3 eignen sich für lange Dokumente und das Zusammenführen vieler Abschnitte und funktionieren auch gut für Agenten mit mehrstufigen Tool-Aufrufen. Tragen Sie das Kontextfenster des genutzten Modells ein, wie es bei inference.eu angegeben ist. Der Standard von 3.900 Tokens ist viel zu klein und lässt LlamaIndex abgerufenen Kontext verwerfen. Ein Wert über dem echten Limit führt zu Fehlern wegen zu langer Anfragen. \`OpenAILike\` setzt \`is\_function\_calling\_model\` standardmäßig auf \`False\`, Agenten weichen dann auf textbasiertes Schlussfolgern aus. Setzen Sie den Wert auf \`True\` und wählen Sie ein Modell mit verlässlichen Tool-Aufrufen, etwa GLM-5.3, Kimi K3 oder Qwen3 Coder 480B. Meist steht \`is\_chat\_model\` noch auf \`False\`, und LlamaIndex ruft den alten Endpunkt \`/completions\` auf. Setzen Sie den Wert auf \`True\`. Prüfen Sie andernfalls, ob \`api\_base\` auf \`/v1\` endet und die Modell-ID bei inference.eu existiert. Ja. Nutzen Sie \`stream\_complete\`, \`stream\_chat\` oder eine Query Engine mit \`streaming=True\`. Tokens kommen an, sobald sie erzeugt werden. So bleiben Chat-Oberflächen auch bei langen Antworten über große Dokumente angenehm reaktionsschnell. Diese Seite behandelt das Sprachmodell. Für Embeddings wählen Sie ein Modell, dessen Hosting Ihren Anforderungen entspricht, am besten in der EU oder selbst betrieben, und setzen es in \`Settings.embed\_model\`. So bleiben Dokumente und Suchanfragen zusammen mit den Modellanfragen in Europa. LlamaIndex sendet Daten nur an die Dienste, die Sie konfigurieren. Embedding-Anbieter, gehostete Vektordatenbanken, Cloud-Dokumentenparser und Observability-Werkzeuge erhalten jeweils Daten nach ihren eigenen Bedingungen. Prüfen Sie jeden davon, damit Ihre gesamte Pipeline in Europa bleibt. Ja. Workflows und \`FunctionAgent\` nutzen dasselbe LLM-Objekt. Sobald \`Settings.llm\` auf \`OpenAILike\` mit inference.eu zeigt, läuft jeder Schritt auf dem gewählten Modell. Bei Bedarf übergeben Sie einzelnen Schritten trotzdem ein anderes Modell. [Frage stellen](https://inference.eu/de/kontakt/) ## Verwandte Seiten [Alle Integrationen](https://inference.eu/de/integrationen/) - [LangChainVerbinden Sie ChatOpenAI aus LangChain per base\_url mit inference.eu und betreiben Sie Chains, Agenten und LangGraph mit Open-Weight-Modellen aus der EU.Frameworks](https://inference.eu/de/integrationen/langchain/) - [HaystackRichten Sie den OpenAIChatGenerator von Haystack per api\_base\_url auf inference.eu aus und betreiben Sie RAG und Agenten mit Open-Weight-Modellen aus der EU.Frameworks](https://inference.eu/de/integrationen/haystack/) - [Pydantic AIVerbinden Sie Pydantic-AI-Agenten über OpenAICompatibleProvider mit inference.eu und erhalten Sie typisierte Ausgaben von Open-Weight-Modellen aus der EU.Frameworks](https://inference.eu/de/integrationen/pydantic-ai/) ## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten. - Antwort innerhalb eines Werktags - Preise für Ihr Volumen - AV-Vertrag unterschriftsreif