Hermes Agent mit Open-Source-Modellen aus der EU nutzen

Hermes Agent ist ein quelloffener KI-Agent von Nous Research. Er läuft im Terminal, verbindet sich mit Editoren und Messaging-Plattformen, plant wiederkehrende Aufgaben und bewahrt Erinnerungen und Fähigkeiten, die sich mit der Zusammenarbeit verbessern. Hilfsaufgaben wie Kontextverdichtung, Bildverarbeitung und Sitzungstitel können jeweils ein eigenes Modell nutzen.

Hermes ist bewusst anbieterunabhängig. Neben den eingebauten Providern arbeitet er mit jedem Endpunkt, der /v1/chat/completions bereitstellt. Damit lässt er sich unkompliziert mit Open-Weight-Modellen bei inference.eu betreiben.

Die Modelleinstellungen stehen in ~/.hermes/config.yaml unter model. Mit provider: custom sendet Hermes Anfragen an base_url, hier die Basis-URL von inference.eu mit Endung /v1. key_env nennt die Umgebungsvariable mit Ihrem Schlüssel, die Hermes aus der Shell oder aus ~/.hermes/.env liest. default ist die Modell-ID für neue Sitzungen.

Der interaktive Befehl hermes model schreibt dieselben Einstellungen, wenn Sie Custom endpoint wählen. Hermes bindet jeden Schlüssel an seine eigene Basis-URL, Ihr inference.eu-Schlüssel geht also nur an inference.eu. Auch Hilfsaufgaben lassen sich im Abschnitt auxiliary mit eigener base_url und eigenem Modell auf inference.eu ausrichten.

Hermes plant, ruft Tools auf und führt ein Langzeitgedächtnis. Davon profitieren Modelle mit Stärken bei agentischer Arbeit. kimi-k3 und glm-5.3 sind gute Standards für das Hauptmodell: Sie denken mehrstufige Aufgaben gut durch und liefern saubere Tool-Aufrufe. Für Agentensitzungen, die vor allem Code schreiben oder prüfen, ist qwen3-coder-480b-a35b-instruct eine starke Wahl.

Für Hilfsaufgaben wie Verdichtung und Titel hält ein schnelles Modell wie gpt-oss-120b Kosten und Wartezeit gering. Wenn Sie auch diese Aufgaben auf inference.eu legen, weicht kein Teil einer Sitzung auf einen anderen Provider aus.

Ein Fehler 401 bedeutet, dass der Schlüssel Hermes nicht erreicht hat. Prüfen Sie, ob INFERENCE_EU_API_KEY in ~/.hermes/.env oder in der Shell gesetzt ist und key_env genau diese Variable nennt. Ein 404 entsteht meist durch einen zusätzlichen Pfad in base_url; die URL muss auf /v1 enden.

Beachten Sie, dass OPENAI_BASE_URL nur den Provider openai-api betrifft, nicht einen eigenen Endpunkt. Setzen Sie die URL daher in der config.yaml. „Model not found“ heißt, dass default nicht der ID bei inference.eu entspricht. Scheitern Hilfsaufgaben, während das Hauptmodell funktioniert, zeigen sie noch auf einen anderen Provider.

Mit inference.eu als eigenem Endpunkt werden Prompts, Dateien, Auszüge aus dem Gedächtnis und Tool-Ausgaben, die Hermes pro Schritt sendet, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, legen unsere Unterauftragsverarbeiter offen und rechnen in Euro ab.

Hermes kann sich außerdem mit Messaging-Plattformen und externen Tools verbinden. Das sind eigenständige Dienste mit eigener Datenverarbeitung. Richten Sie Hauptmodell und alle Hilfsaufgaben auf inference.eu aus und prüfen Sie, welche Gateways und Tools Sie aktivieren, damit der Modellverkehr bei einem Auftragsverarbeiter in der EU bleibt.