Kilo Code mit Open-Source-Modellen aus der EU nutzen

Kilo Code ist ein quelloffener KI-Coding-Agent als Erweiterung für VS Code, als Plugin für JetBrains und als Kommandozeilenwerkzeug. Er bietet Modi für verschiedene Arbeiten, etwa Architektur, Programmieren, Debugging und Fragen, und bearbeitet Dateien und führt Befehle nach Ihrer Freigabe aus.

Kilo unterstützt eine lange Liste eingebauter Provider und erlaubt eigene. Jeder Endpunkt mit OpenAI-Chat-Completions-API lässt sich als Custom Provider registrieren. So binden Sie inference.eu an und halten Ihre Agentenarbeit auf europäischer Infrastruktur.

Der Dialog für eigene Provider fragt nach Provider-ID, Anzeigename, Provider API und Basis-URL. Wählen Sie OpenAI Compatible und tragen Sie die Basis-URL von inference.eu mit Endung /v1 ein. Sind URL und Schlüssel gültig, fragt Kilo /v1/models ab und zeigt eine durchsuchbare Modellliste.

Für feinere Einstellungen bearbeiten Sie die kilo.jsonc in ~/.config/kilo/ oder im Projekt. Der Block provider folgt dem Beispiel: ein npm-Adapter, options.baseURL, options.apiKey mit {env:...}-Syntax und eine Liste models. Der Schlüssel model wählt das Standardmodell als inference-eu/<Modell-ID>. Pro Modell setzen Sie tool_call, reasoning und limit.

Für den Code-Modus und agentische Aufgaben ist qwen3-coder-480b-a35b-instruct ein guter Standard. Das Modell ist auf Code und Tool-Nutzung trainiert und hält Änderungen fokussiert. Für die Modi Architect und Ask, in denen der Agent mehr liest und abwägt als ändert, liefern glm-5.3 und kimi-k3 gründliche Antworten.

gpt-oss-120b antwortet schnell und passt zu Debug-Sitzungen mit kurzen Zyklen aus Ausprobieren und Prüfen. Kennzeichnen Sie Modelle in der kilo.jsonc mit "tool_call": true, damit Kilo ihnen Tools anbietet. Da Sie pro Modus ein Modell wählen können, lohnt sich ein Test für die jeweils häufigste Aufgabe.

Ein Fehler 401 bedeutet, dass der Schlüssel Kilo nicht erreicht hat. Nutzen Sie {env:INFERENCE_EU_API_KEY}, starten Sie VS Code oder die CLI aus einer Shell, in der die Variable gesetzt ist. Bleibt die Modellliste nach Eingabe der Basis-URL leer, prüfen Sie, ob sie auf /v1 endet und keinen weiteren Pfad enthält.

„Model not found“ heißt, dass der Modellschlüssel nicht der ID bei inference.eu entspricht. Beschreibt der Agent Änderungen nur, statt sie auszuführen, liefert das Modell keine Tool-Aufrufe: Setzen Sie "tool_call": true und wählen Sie ein auf Tool-Nutzung trainiertes Modell. Kilo akzeptiert auch vollständige Endpunkt-URLs, die einfache /v1-Basis ist aber die sauberste Wahl.

Mit einem eigenen Provider sendet Kilo Modellanfragen aus Editor oder Terminal an die eingetragene Basis-URL. Bei inference.eu werden Prompts, Dateiinhalte und Befehlsausgaben in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, legen unsere Unterauftragsverarbeiter offen und rechnen in Euro ab.

Kilo bietet außerdem ein eigenes Gateway und eine eigene Anmeldung. Soll der gesamte Modellverkehr bei inference.eu bleiben, machen Sie den eigenen Provider zum einzigen, setzen sein Modell als Standard für alle Modi und prüfen die Telemetrie-Einstellung von Kilo.