AnythingLLM mit Open-Source-Modellen aus der EU nutzen

AnythingLLM von Mintplex Labs ist eine quelloffene Anwendung für dokumentengestützten Chat und Agenten. Sie läuft als Desktop-App unter Windows, macOS und Linux oder als Docker-Installation für mehrere Benutzer. Sie ordnen Dokumente in Workspaces, und AnythingLLM zerlegt, vektorisiert und speichert sie, damit Antworten Ihre eigenen Dateien zitieren. Agenten ergänzen Websuche, Dateiverwaltung und eigene Skills.

Embeddings und Vektordatenbank laufen standardmäßig lokal. Nur das Sprachmodell braucht einen Anbieter, und die Option Generic OpenAI verbindet sich mit jeder OpenAI-kompatiblen API. So nutzen Sie inference.eu.

Wählen Sie unter Settings > AI Providers > LLM die Option Generic OpenAI und füllen Sie Base URL (die Basis-URL von inference.eu mit Endung /v1), API-Schlüssel, den Modellnamen genau wie bei inference.eu, das Kontextfenster des Modells und die maximalen Tokens pro Antwort aus. Jeder Workspace kann Anbieter und Modell zusätzlich überschreiben.

Bei Docker-Installationen setzen Sie dieselben Werte in der .env des Servers mit LLM_PROVIDER='generic-openai', GENERIC_OPEN_AI_BASE_PATH, GENERIC_OPEN_AI_API_KEY, GENERIC_OPEN_AI_MODEL_PREF und GENERIC_OPEN_AI_MODEL_TOKEN_LIMIT. Die Option Generic OpenAI ist sehr flexibel, prüfen Sie daher jedes Feld sorgfältig.

Der Chat mit Dokumenten profitiert von einem Modell, das sich eng an den gefundenen Text hält und langen Kontext verarbeitet. glm-5.3 und kimi-k3 sind starke Optionen, um Fragen über viele Dokumente zu beantworten, Verträge zu vergleichen oder Berichte zusammenzufassen.

Für kurze Fragen und einfachere Workspaces antwortet gpt-oss-120b schnell. AnythingLLM-Agenten rufen Tools für Websuche, das Speichern von Dateien und eigene Skills auf. Nutzen Sie in Workspaces mit @agent daher ein Modell mit verlässlichen Tool-Aufrufen wie kimi-k3 oder glm-5.3. Setzen Sie das Kontextfenster auf das echte Limit des Modells, damit genügend Fundstellen einfließen.

Ein Fehler 401 bedeutet, dass der API-Schlüssel falsch ist oder mit Leerzeichen eingefügt wurde. Ein 404 entsteht meist, wenn der Basis-URL /v1 fehlt oder sie /chat/completions enthält. „Model not found“ heißt, dass der Modellname von der ID bei inference.eu abweicht; geben Sie ihn exakt ein.

Ignorieren Antworten Ihre Dokumente, ist das Kontextfenster zu niedrig eingestellt oder es werden zu wenige Fundstellen abgerufen. Erhöhen Sie das Token-Limit und prüfen Sie den Ähnlichkeitsschwellenwert des Workspace. Rufen Agenten keine Tools auf, wählen Sie für den Agenten ein Modell mit stärkeren Tool-Aufrufen. Beginnen Sie nach Änderungen einen neuen Chat.

Mit inference.eu als LLM-Anbieter werden die Fragen und Dokumentauszüge, die AnythingLLM an das Modell sendet, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

AnythingLLM hält Dokumente, Embeddings und Vektordatenbank standardmäßig auf Ihrem Rechner oder Server. Es erfasst anonyme Nutzungstelemetrie, sofern Sie nicht DISABLE_TELEMETRY auf true setzen oder sie unter Privacy abschalten. Agenten-Skills wie die Websuche nutzen eigene Anbieter. Prüfen Sie diese, bevor Sie sie aktivieren.