--- title: "AnythingLLM mit KI-Modellen aus der EU einrichten" description: "Verbinden Sie AnythingLLM über den Provider Generic OpenAI mit inference.eu und chatten Sie mit Ihren Dokumenten über Open-Weight-Modelle aus der EU." canonical: "https://inference.eu/de/integrationen/anythingllm/" language: "de" --- Chat-Apps · AnythingLLM # AnythingLLM mit Open-Source-Modellen aus der EU nutzen AnythingLLM ist eine Desktop- und Server-Anwendung, mit der Sie mit Ihren Dokumenten chatten und Agenten ausführen. Ihr Provider Generic OpenAI verbindet sich mit jeder OpenAI-kompatiblen API. Dokumente und Vektordatenbank bleiben lokal, das Modell läuft auf Open-Weight-Modellen bei inference.eu in europäischen Rechenzentren. [Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Einrichtung](#setup) 1. 01API-Format: OpenAI 2. 02Rechenzentren in der EU 3. 03Durch einen AV-Vertrag abgedeckt ## In wenigen Minuten eingerichtet 1. 1 Erstellen Sie in Ihrem inference.eu-Konto einen API-Schlüssel. 2. 2 Öffnen Sie in AnythingLLM Settings > AI Providers > LLM und wählen Sie Generic OpenAI. 3. 3 Geben Sie die Basis-URL von inference.eu, Ihren API-Schlüssel und einen Modellnamen wie `glm-5.3` ein. 4. 4 Stellen Sie Kontextfenster und maximale Tokens passend zum Modell ein und speichern Sie. 5. 5 Öffnen Sie einen Workspace, laden Sie ein Dokument hoch und stellen Sie eine Frage dazu, um die Verbindung zu prüfen. .env ``` LLM_PROVIDER='generic-openai' GENERIC_OPEN_AI_BASE_PATH='https://api.inference.eu/v1' GENERIC_OPEN_AI_API_KEY='' GENERIC_OPEN_AI_MODEL_PREF='glm-5.3' GENERIC_OPEN_AI_MODEL_TOKEN_LIMIT=131072 DISABLE_TELEMETRY='true' # Desktop app: Settings > AI Providers > LLM > Generic OpenAI, # then fill in Base URL, API Key, Chat Model Name and context window. ``` ## Was AnythingLLM ist AnythingLLM von Mintplex Labs ist eine quelloffene Anwendung für dokumentengestützten Chat und Agenten. Sie läuft als Desktop-App unter Windows, macOS und Linux oder als Docker-Installation für mehrere Benutzer. Sie ordnen Dokumente in Workspaces, und AnythingLLM zerlegt, vektorisiert und speichert sie, damit Antworten Ihre eigenen Dateien zitieren. Agenten ergänzen Websuche, Dateiverwaltung und eigene Skills. Embeddings und Vektordatenbank laufen standardmäßig lokal. Nur das Sprachmodell braucht einen Anbieter, und die Option Generic OpenAI verbindet sich mit jeder OpenAI-kompatiblen API. So nutzen Sie inference.eu. ## So funktioniert die Konfiguration Wählen Sie unter Settings > AI Providers > LLM die Option Generic OpenAI und füllen Sie Base URL (die Basis-URL von inference.eu mit Endung `/v1`), API-Schlüssel, den Modellnamen genau wie bei inference.eu, das Kontextfenster des Modells und die maximalen Tokens pro Antwort aus. Jeder Workspace kann Anbieter und Modell zusätzlich überschreiben. Bei Docker-Installationen setzen Sie dieselben Werte in der `.env` des Servers mit `LLM_PROVIDER='generic-openai'`, `GENERIC_OPEN_AI_BASE_PATH`, `GENERIC_OPEN_AI_API_KEY`, `GENERIC_OPEN_AI_MODEL_PREF` und `GENERIC_OPEN_AI_MODEL_TOKEN_LIMIT`. Die Option Generic OpenAI ist sehr flexibel, prüfen Sie daher jedes Feld sorgfältig. ## Welche Modelle sich eignen Der Chat mit Dokumenten profitiert von einem Modell, das sich eng an den gefundenen Text hält und langen Kontext verarbeitet. `glm-5.3` und `kimi-k3` sind starke Optionen, um Fragen über viele Dokumente zu beantworten, Verträge zu vergleichen oder Berichte zusammenzufassen. Für kurze Fragen und einfachere Workspaces antwortet `gpt-oss-120b` schnell. AnythingLLM-Agenten rufen Tools für Websuche, das Speichern von Dateien und eigene Skills auf. Nutzen Sie in Workspaces mit `@agent` daher ein Modell mit verlässlichen Tool-Aufrufen wie `kimi-k3` oder `glm-5.3`. Setzen Sie das Kontextfenster auf das echte Limit des Modells, damit genügend Fundstellen einfließen. ## Fehlerbehebung Ein Fehler 401 bedeutet, dass der API-Schlüssel falsch ist oder mit Leerzeichen eingefügt wurde. Ein 404 entsteht meist, wenn der Basis-URL `/v1` fehlt oder sie `/chat/completions` enthält. „Model not found“ heißt, dass der Modellname von der ID bei inference.eu abweicht; geben Sie ihn exakt ein. Ignorieren Antworten Ihre Dokumente, ist das Kontextfenster zu niedrig eingestellt oder es werden zu wenige Fundstellen abgerufen. Erhöhen Sie das Token-Limit und prüfen Sie den Ähnlichkeitsschwellenwert des Workspace. Rufen Agenten keine Tools auf, wählen Sie für den Agenten ein Modell mit stärkeren Tool-Aufrufen. Beginnen Sie nach Änderungen einen neuen Chat. ## Daten bleiben in der EU Mit inference.eu als LLM-Anbieter werden die Fragen und Dokumentauszüge, die AnythingLLM an das Modell sendet, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab. AnythingLLM hält Dokumente, Embeddings und Vektordatenbank standardmäßig auf Ihrem Rechner oder Server. Es erfasst anonyme Nutzungstelemetrie, sofern Sie nicht `DISABLE_TELEMETRY` auf true setzen oder sie unter Privacy abschalten. Agenten-Skills wie die Websuche nutzen eigene Anbieter. Prüfen Sie diese, bevor Sie sie aktivieren. ## AnythingLLM Kategorie Chat-Apps Anbieter Mintplex Labs API-Format OpenAI Verarbeitung Rechenzentren in der EU Website [anythingllm.com](https://anythingllm.com/) Dokumentation [docs.anythingllm.com](https://docs.anythingllm.com/setup/llm-configuration/cloud/openai-generic) ## AnythingLLM: häufige Fragen Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt. Öffnen Sie Settings > AI Providers > LLM und wählen Sie Generic OpenAI. Geben Sie Basis-URL, API-Schlüssel, Modellnamen, Kontextfenster und maximale Tokens ein und speichern Sie. Jeder Workspace mit der Systemvorgabe sendet seine Anfragen dann an diesen Endpunkt. GLM-5.3 und Kimi K3 verarbeiten langen Kontext und bleiben nah am gefundenen Text. Das passt zu Verträgen, Berichten und Handbüchern. gpt-oss-120b ist eine schnelle Wahl für einfachere Workspaces und kurze Fragen. Tragen Sie das Kontextfenster des gewählten Modells ein, wie es bei inference.eu angegeben ist. AnythingLLM bestimmt daran, wie viel Verlauf und wie viele Dokumentauszüge in eine Anfrage passen. Ein zu niedriger Wert führt dazu, dass Antworten Ihre Dokumente ignorieren. Dokumente werden standardmäßig lokal vektorisiert und gespeichert. Nur die Frage und die dazu gefundenen Auszüge gehen an das Modell bei inference.eu. Dort werden sie in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Ja. Setzen Sie bei Docker-Installationen in der \`.env\` des Servers den Wert \`LLM\_PROVIDER='generic-openai'\` sowie \`GENERIC\_OPEN\_AI\_BASE\_PATH\`, \`GENERIC\_OPEN\_AI\_API\_KEY\`, \`GENERIC\_OPEN\_AI\_MODEL\_PREF\` und \`GENERIC\_OPEN\_AI\_MODEL\_TOKEN\_LIMIT\` und starten Sie den Container neu. Spätere Änderungen in den Einstellungen speichert die Anwendung selbst. Ja. Agenten nutzen das Modell des Workspace oder ein eigenes Agentenmodell. Wählen Sie eines mit verlässlichen Tool-Aufrufen wie Kimi K3 oder GLM-5.3, damit Skills wie Websuche, das Speichern von Dateien und eigene Tools zuverlässig aufgerufen werden. Der Modellname muss exakt der Modell-ID bei inference.eu entsprechen, etwa \`glm-5.3\`. Generic OpenAI bietet keine Modellliste an, Tippfehler sind daher eine häufige Ursache. Korrigieren Sie den Namen in den Einstellungen und beginnen Sie einen neuen Chat. AnythingLLM erfasst standardmäßig anonyme Nutzungstelemetrie ohne Dokumentinhalte oder Chats. Setzen Sie \`DISABLE\_TELEMETRY='true'\` in der \`.env\` des Servers oder schalten Sie sie in der App unter Privacy ab, wenn außer Modellanfragen keine Daten Ihre Umgebung verlassen sollen. Ja. Jeder Workspace kann das System-LLM mit eigenem Anbieter und Modell überschreiben. So nutzen Sie etwa GLM-5.3 für einen Rechts-Workspace mit langen Verträgen und gpt-oss-120b für einen allgemeinen Workspace Ihres Teams. AnythingLLM bringt einen lokalen Embedder und eine lokale Vektordatenbank mit, die Ihre Dokument-Embeddings auf dem eigenen Rechner halten. Das ist meist die einfachste Wahl; die LLM-Einstellung auf dieser Seite betrifft Chat und Agenten. [Frage stellen](https://inference.eu/de/kontakt/) ## Verwandte Seiten [Alle Integrationen](https://inference.eu/de/integrationen/) - [Open WebUIVerbinden Sie Open WebUI als OpenAI-kompatible Verbindung mit inference.eu und bieten Sie Ihrem Team einen selbst gehosteten Chat mit EU-Modellen.Chat-Apps](https://inference.eu/de/integrationen/open-webui/) - [LibreChatTragen Sie inference.eu als Custom Endpoint in die librechat.yaml ein und bieten Sie einen selbst gehosteten Chat mit Agenten und Open-Weight-Modellen aus der EU.Chat-Apps](https://inference.eu/de/integrationen/librechat/) - [LlamaIndexVerbinden Sie LlamaIndex über die Klasse OpenAILike mit inference.eu und betreiben Sie RAG-Pipelines und Agenten mit Open-Weight-Modellen aus der EU.Frameworks](https://inference.eu/de/integrationen/llamaindex/) ## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten. - Antwort innerhalb eines Werktags - Preise für Ihr Volumen - AV-Vertrag unterschriftsreif