CrewAI mit Open-Source-Modellen aus der EU nutzen

CrewAI ist ein quelloffenes Python-Framework für Multi-Agenten-Systeme. Sie definieren Agenten mit Rolle, Ziel und Hintergrund, geben ihnen Tools und weisen ihnen Aufgaben in einer Crew zu, die nacheinander oder unter einem Manager-Agenten abläuft. Flows ergänzen Crews um ereignisgesteuerte Abläufe für den Produktivbetrieb.

Jeder Agent spricht über die Klasse LLM mit einem Sprachmodell. Deren OpenAI-Integration akzeptiert eine base_url. Ist der Modellname keiner der eigenen Modelle von OpenAI, leitet CrewAI die Anfrage an diesen Endpunkt weiter. So betreiben Sie eine ganze Crew mit inference.eu.

Erzeugen Sie LLM(model="openai/<Modell-ID>", base_url=..., api_key=...). Das Präfix openai/ wählt den OpenAI-kompatiblen Client von CrewAI und wird vor der Anfrage entfernt, inference.eu erhält also die reine Modell-ID. base_url ist die Basis-URL von inference.eu mit Endung /v1.

Übergeben Sie das Objekt jedem Agenten mit llm=. Agenten ohne eigenes llm greifen auf das Standardmodell von CrewAI zurück. Setzen Sie es daher überall, auch als manager_llm bei hierarchischen Crews und als function_calling_llm, falls genutzt. In YAML-basierten Projekten legen Sie Modell und Basis-URL im Code oder über MODEL und OPENAI_BASE_URL fest.

Crews verbringen die meiste Zeit mit Planen, Delegieren und Tool-Aufrufen. Am besten arbeiten daher Modelle mit verlässlichen Tool-Aufrufen, die Anweisungen genau befolgen. kimi-k3 und glm-5.3 sind gute Standards für Agenten und Manager, die mehrere Schritte koordinieren.

Für Recherche- oder Schreibagenten, die große Eingaben zusammenfassen, kommt glm-5.3 gut mit langem Kontext zurecht. Coding-Agenten profitieren von qwen3-coder-480b-a35b-instruct. Für einfache Arbeitsagenten, die klassifizieren, extrahieren oder umformatieren, hält gpt-oss-120b jeden Schritt kurz. Jeder Agent kann sein eigenes LLM erhalten, Sie können Modelle in einer Crew also frei mischen.

Ein Fehler 401 bedeutet, dass der Schlüssel falsch ist oder ein Agent ohne eigenes llm auf das Standardmodell und OPENAI_API_KEY ausgewichen ist. Setzen Sie llm= bei jedem Agenten. Ein 404 entsteht meist durch einen zusätzlichen Pfad in base_url oder eine falsche Modell-ID.

Meldet CrewAI einen unbekannten Provider, prüfen Sie, ob der Modellname mit openai/ beginnt. Hängt ein Agent in einer Tool-Schleife oder liefert er seinen Denkprozess statt einer Antwort, wählen Sie ein Modell mit stärkeren Tool-Aufrufen oder senken Sie max_iter. Gedächtnis- und Wissensfunktionen nutzen einen Embedder, der standardmäßig OpenAI verwendet. Konfigurieren Sie ihn vorher explizit.

Ist das LLM jedes Agenten auf inference.eu ausgerichtet, werden Aufgabenbeschreibungen, Kontext und Tool-Ergebnisse Ihrer Crew in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

CrewAI erfasst standardmäßig anonyme Nutzungstelemetrie ohne Prompts oder Aufgabeninhalte. Mit CREWAI_DISABLE_TELEMETRY=true schalten Sie sie ab; lassen Sie außerdem share_crew deaktiviert. Gedächtnis, Wissensquellen und Tools haben eigene Anbieter. Wählen Sie dafür in der EU gehostete Optionen, damit die gesamte Crew in Europa bleibt.