Continue mit Open-Source-Modellen aus der EU nutzen

Continue ist eine quelloffene Erweiterung für VS Code und die JetBrains-IDEs, ergänzt um einen Agenten für die Kommandozeile. Sie bietet Chat, Inline-Bearbeitung, einen Agent-Modus mit Tools und Tab-Autovervollständigung. Ein eigenes Modell bringt Continue nicht mit; Sie entscheiden, welcher Provider welche Art von Anfrage beantwortet.

Das passt zu Teams, die ihren Editor behalten und selbst bestimmen wollen, wo Modelle laufen. Da Continue jede OpenAI-kompatible API unterstützt, funktioniert inference.eu mit dem eingebauten Provider openai und einer eigenen apiBase.

Modelle stehen in der config.yaml, lokal unter ~/.continue/config.yaml oder in einer gemeinsamen Konfiguration. Jeder Eintrag nennt provider, die Modell-ID unter model, eine apiBase und einen apiKey. Mit provider: openai und apiBase auf inference.eu ruft Continue unseren Chat-Completions-Endpunkt auf.

Die Syntax ${{ secrets.INFERENCE_EU_API_KEY }} liest den Schlüssel aus ~/.continue/.env, er steht also nicht in der Konfiguration. Rollen legen fest, was ein Modell tut: chat für Chat und Agent, edit für Inline-Änderungen, apply für das Übernehmen von Codeblöcken in Dateien. Verschiedene Rollen können an verschiedene Modelle gehen.

Geben Sie die Rollen chat, edit und apply an qwen3-coder-480b-a35b-instruct. Das Modell ist auf Code trainiert und kommt mit den Tool-Aufrufen des Agent-Modus gut zurecht. Ergänzen Sie glm-5.3 oder kimi-k3 als weitere Chat-Modelle für Architekturfragen, Reviews und längere Dokumente und wechseln Sie im Modellwähler.

gpt-oss-120b eignet sich, wenn kurze Fragen schnell beantwortet werden sollen. Die Tab-Autovervollständigung ist eine andere Aufgabe: Sie braucht ein kleines, schnelles Modell, das auf Fill-in-the-Middle trainiert ist. Lassen Sie die Rolle autocomplete frei, bis Sie ein solches Modell gewählt haben, statt sie einem großen Chat-Modell zu geben.

Ein Fehler 401 bedeutet meist, dass das Secret nicht aufgelöst wurde. Prüfen Sie, ob ~/.continue/.env den Eintrag INFERENCE_EU_API_KEY ohne Anführungszeichen oder Leerzeichen enthält, und laden Sie das Fenster neu. „Model not found“ heißt, dass model nicht der ID bei inference.eu entspricht.

Versucht Continue die Responses-API und scheitert, ergänzen Sie useResponsesApi: false im Modelleintrag, damit Chat Completions genutzt wird. Antwortet der Agent-Modus mit Text statt Tool-Aufrufen, wählen Sie ein Modell mit zuverlässigem Tool-Calling wie Qwen3 Coder oder GLM-5.3. apiBase muss auf /v1 enden, ohne weiteren Pfad.

Mit lokaler Konfiguration sendet Continue Modellanfragen direkt aus Ihrer IDE an die eingetragene apiBase. Bei inference.eu werden Code, Dateien und Kontext in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, legen unsere Unterauftragsverarbeiter offen und rechnen in Euro ab.

Continue kann anonyme Nutzungstelemetrie erfassen, die Sie in den Einstellungen der Erweiterung abschalten. Nutzen Sie eine Konfiguration auf dem Hub von Continue, prüfen Sie, wie Secrets dort verwaltet werden. Für die strengsten Anforderungen halten Sie config.yaml und .env lokal und verteilen sie über Ihre eigenen Werkzeuge.