LlamaIndex mit Open-Source-Modellen aus der EU nutzen

LlamaIndex ist ein quelloffenes Daten-Framework für Anwendungen mit Sprachmodellen. Es lädt und zerlegt Dokumente, teilt sie in Knoten auf, baut Indizes und findet für jede Frage den passenden Kontext. Darauf setzen Query Engines, Chat Engines, Agenten und ereignisgesteuerte Workflows auf.

LlamaIndex trennt das Sprachmodell vom Rest der Pipeline. Jede Komponente kann ein LLM-Objekt nutzen, und OpenAILike ist die Klasse für Drittanbieter-APIs im OpenAI-Format. Setzen Sie sie einmal in Settings.llm, und alle Indizes und Engines Ihrer Anwendung nutzen inference.eu.

OpenAILike erwartet api_base (die Basis-URL von inference.eu mit Endung /v1), api_key und model. Anders als die einfache Klasse OpenAI setzt sie keine Modellfähigkeiten voraus, deshalb zählen drei Einstellungen. is_chat_model=True schickt Anfragen an den Chat-Endpunkt; standardmäßig wird der alte Completion-Endpunkt genutzt.

is_function_calling_model=True erlaubt Agenten native Tool-Aufrufe, sonst weichen sie auf textbasiertes Schlussfolgern aus. context_window steht standardmäßig auf 3.900 Tokens, weit unter dem, was aktuelle Modelle verarbeiten. Setzen Sie den echten Wert des Modells. LlamaIndex bestimmt daran, wie viele abgerufene Abschnitte in einen Prompt passen.

Für Fragen an Dokumente liefert gpt-oss-120b schnelle, belegte Antworten bei geringer Wartezeit. Für lange Dokumente oder Fragen, die viele abgerufene Abschnitte zusammenführen, kommen glm-5.3 und kimi-k3 gut mit großem Kontext und sorgfältigem Schlussfolgern zurecht.

Für FunctionAgent und Workflows mit mehreren Tools wählen Sie ein Modell mit verlässlichen Tool-Aufrufen, etwa glm-5.3, kimi-k3 oder qwen3-coder-480b-a35b-instruct. Sie können auch mehrere Modelle in einer Anwendung kombinieren, zum Beispiel ein schnelles für das Umformulieren von Suchanfragen und ein stärkeres für die endgültige Antwort.

Ein Fehler 401 bedeutet, dass der Schlüssel fehlt oder falsch ist. Ein 404 entsteht meist durch einen zusätzlichen Pfad in api_base oder weil is_chat_model noch auf False steht und LlamaIndex den alten Completion-Endpunkt aufruft. Setzen Sie den Wert auf True.

Ruft ein Agent nie Tools auf und antwortet nur mit Text, setzen Sie is_function_calling_model=True. Ignorieren Antworten den Großteil des Kontexts oder treten Längenfehler auf, prüfen Sie context_window: Zu niedrig kürzt LlamaIndex den Kontext, zu hoch überschreiten Anfragen das Limit des Modells. Die einfache Klasse OpenAI lehnt unbekannte Modell-IDs ab.

Mit OpenAILike auf inference.eu werden die Fragen und Dokumentabschnitte, die LlamaIndex an das Modell sendet, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

Zu einer vollständigen RAG-Pipeline gehören außerdem Embeddings, eine Vektordatenbank und unter Umständen ein Dokumentenparser oder ein Observability-Werkzeug. Auch diese verarbeiten Ihre Dokumente. Wählen Sie dafür in der EU gehostete oder selbst betriebene Lösungen, damit Dokumente, Embeddings und Modellanfragen in Europa bleiben.