--- title: "LangChain mit KI-Modellen aus der EU einrichten" description: "Verbinden Sie ChatOpenAI aus LangChain per base_url mit inference.eu und betreiben Sie Chains, Agenten und LangGraph mit Open-Weight-Modellen aus der EU." canonical: "https://inference.eu/de/integrationen/langchain/" language: "de" --- Frameworks · LangChain # LangChain mit Open-Source-Modellen aus der EU nutzen LangChain ist ein Framework für Anwendungen und Agenten auf Basis von Sprachmodellen. Die Klasse \`ChatOpenAI\` akzeptiert eine eigene Basis-URL. So laufen Chains, Agenten mit Tool-Aufrufen und LangGraph-Workflows auf Open-Weight-Modellen bei inference.eu, verarbeitet in europäischen Rechenzentren. [Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Einrichtung](#setup) 1. 01API-Format: OpenAI 2. 02Rechenzentren in der EU 3. 03Durch einen AV-Vertrag abgedeckt ## In wenigen Minuten eingerichtet 1. 1 Erstellen Sie in Ihrem inference.eu-Konto einen API-Schlüssel und speichern Sie ihn als `INFERENCE_EU_API_KEY`. 2. 2 Installieren Sie die Integration mit `pip install langchain-openai` oder für JavaScript mit `npm install @langchain/openai`. 3. 3 Erzeugen Sie `ChatOpenAI` mit `base_url` auf der Basis-URL von inference.eu, `api_key` aus der Umgebung und einer Modell-ID von inference.eu als `model`. 4. 4 Setzen Sie `stream_usage=True`, wenn Sie beim Streaming Token-Angaben brauchen. 5. 5 Prüfen Sie die Verbindung mit einem Aufruf von `invoke` und nutzen Sie das Modell dann in Chains, Agenten oder Graphen. python ``` import os from langchain_openai import ChatOpenAI llm = ChatOpenAI( model="qwen3-coder-480b-a35b-instruct", base_url="https://api.inference.eu/v1", api_key=os.environ["INFERENCE_EU_API_KEY"], stream_usage=True, ) print(llm.invoke("Summarise GDPR Article 28 in two sentences.").content) # LangChain.js: # new ChatOpenAI({ model: "gpt-oss-120b", apiKey: process.env.INFERENCE_EU_API_KEY, # configuration: { baseURL: "https://api.inference.eu/v1" } }); ``` ## Was LangChain ist LangChain ist ein quelloffenes Framework für Python und JavaScript zum Bau von Anwendungen auf Sprachmodellen. Es bietet eine gemeinsame Schnittstelle für Chat-Modelle, Prompts, Tools, Retriever und Output-Parser. Mit `create_agent` und der Bibliothek LangGraph laufen Agenten mit Tool-Aufrufen und zustandsbehaftete Workflows. Jede LangChain-Komponente, die ein Chat-Modell braucht, akzeptiert jedes Objekt mit dieser gemeinsamen Schnittstelle. Die Klasse `ChatOpenAI` aus `langchain-openai` spricht mit jedem Endpunkt im OpenAI-Format, sobald Sie `base_url` setzen. inference.eu fügt sich damit ohne weitere Codeänderungen in bestehende Chains und Agenten ein. ## So funktioniert die Konfiguration Übergeben Sie `base_url` (die Basis-URL von inference.eu mit Endung `/v1`), `api_key` und `model` an `ChatOpenAI`. In LangChain.js gehört die URL unter `configuration: { baseURL }`. LangChain liest außerdem `OPENAI_API_BASE` und `OPENAI_BASE_URL`, wenn keine URL übergeben wird. Explizite Argumente sind aber klarer, wenn ein Projekt mehrere Anbieter nutzt. Bei eigener Basis-URL schaltet LangChain Token-Angaben beim Streaming nicht automatisch ein. Setzen Sie daher `stream_usage=True`. Wählt Ihr Code Modelle aus der Konfiguration, können Sie das Modell auch mit `init_chat_model("openai:", base_url=..., api_key=...)` erzeugen. ## Welche Modelle sich eignen Für Retrieval-Augmented Generation, Zusammenfassungen und Extraktion ist `gpt-oss-120b` ein schneller, leistungsfähiger Standard. Für Agenten mit `create_agent` oder LangGraph, die mehrere Tools nacheinander aufrufen, liefern `qwen3-coder-480b-a35b-instruct`, `glm-5.3` und `kimi-k3` verlässliche Tool-Aufrufe. `glm-5.3` und `kimi-k3` eignen sich auch für langen Kontext über große Dokumente und komplexe mehrstufige Planung. Für Extraktion nutzen Sie `with_structured_output` mit einem Pydantic-Modell, LangChain validiert das Ergebnis. Da Modelle einfache Objekte sind, kann jeder Knoten eines Graphen sein eigenes Modell erhalten, etwa ein schnelles für das Routing und ein stärkeres für das Schlussfolgern. ## Fehlerbehebung Ein Fehler 401 bedeutet, dass der Schlüssel fehlt oder LangChain einen alten `OPENAI_API_KEY` gelesen hat. Übergeben Sie `api_key` explizit. Ein 404 entsteht meist durch einen zusätzlichen Pfad in `base_url` oder eine Modell-ID, die es bei inference.eu nicht gibt. `ChatOpenAI` folgt ausschließlich der offiziellen OpenAI-Spezifikation. Zusätzliche Felder wie `reasoning_content` von Reasoning-Modellen bleiben daher nicht in der Nachricht erhalten. Eingebaute Tools oder Parameter, die nur die Responses API von OpenAI kennt, schalten `ChatOpenAI` auf diese API um. Setzen Sie `use_responses_api=False` und bleiben Sie bei Funktionen von Chat Completions. ## Daten bleiben in der EU Mit `base_url` auf inference.eu werden alle Prompts, abgerufenen Dokumente und Tool-Ergebnisse, die Ihre Chains an das Modell senden, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab. LangChain selbst ruft nur die konfigurierten Dienste auf. Embeddings, Vektordatenbanken und Tracing sind eigenständig: Aktivieren Sie das Tracing mit LangSmith, gehen Prompts und Ausgaben nach dessen Bedingungen an LangSmith. Wählen Sie für diese Bausteine in der EU gehostete Optionen oder lassen Sie das Tracing aus, damit die gesamte Pipeline in Europa bleibt. ## LangChain Kategorie Frameworks Anbieter LangChain API-Format OpenAI Verarbeitung Rechenzentren in der EU Website [www.langchain.com](https://www.langchain.com/) Dokumentation [docs.langchain.com](https://docs.langchain.com/oss/python/integrations/chat/openai) ## LangChain: häufige Fragen Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt. Erzeugen Sie \`ChatOpenAI\` mit \`base\_url\`, \`api\_key\` und \`model\`. Alle LangChain-Komponenten, die ein Chat-Modell akzeptieren, auch Agenten und LangGraph-Knoten, nutzen dann diesen Endpunkt. In LangChain.js übergeben Sie die URL als \`configuration.baseURL\`. Qwen3 Coder 480B, GLM-5.3 und Kimi K3 liefern verlässliche Tool-Aufrufe für \`create\_agent\` und LangGraph. gpt-oss-120b eignet sich für schnelle RAG-Antworten, Zusammenfassungen und Routing-Schritte, bei denen Tempo wichtiger ist als tiefes Schlussfolgern. Bei eigener Basis-URL lässt LangChain die Token-Angaben beim Streaming standardmäßig aus, weil viele Endpunkte außerhalb von OpenAI sie nicht unterstützen. inference.eu unterstützt sie. Setzen Sie \`stream\_usage=True\` an \`ChatOpenAI\`, dann kommen die Angaben am Ende des Streams. \`ChatOpenAI\` behält nur Felder aus der offiziellen OpenAI-Spezifikation, zusätzliche Felder wie \`reasoning\_content\` entfallen. Die eigentliche Antwort ist davon nicht betroffen. Brauchen Sie den Denkprozess, rufen Sie die API direkt mit dem OpenAI-SDK auf und lesen die unveränderte Antwort. Ja. Rufen Sie \`init\_chat\_model("openai:gpt-oss-120b", base\_url=..., api\_key=...)\` auf. Das Präfix \`openai\` wählt \`ChatOpenAI\`, die zusätzlichen Argumente richten es auf inference.eu aus. Das ist praktisch, wenn der Modellname aus der Konfiguration kommt. Ja. Übergeben Sie ein Pydantic-Modell oder JSON-Schema an \`with\_structured\_output\`, dann fordert LangChain strukturierte Ausgabe an und validiert das Ergebnis. Testen Sie Ihr Schema mit dem gewählten Modell und halten Sie die Felder einfach, das liefert die verlässlichsten Ergebnisse. \`ChatOpenAI\` wechselt zur Responses API, wenn Sie Funktionen nutzen, die es nur dort gibt, etwa eingebaute OpenAI-Tools. Bleiben Sie bei Funktionen von Chat Completions und setzen Sie \`use\_responses\_api=False\`, damit jede Anfrage an \`/chat/completions\` bei inference.eu geht. Die Einrichtung auf dieser Seite gilt für Chat-Modelle. Für Embeddings verwenden Sie eine Integration, deren Datenverarbeitung Ihren Anforderungen entspricht, idealerweise in der EU gehostet. So bleiben Dokumente und Suchanfragen zusammen mit Ihren Chat-Anfragen in Europa. Nur wenn Sie das Tracing mit \`LANGSMITH\_TRACING=true\` und einem LangSmith-Schlüssel aktivieren. Dann gehen Prompts, Ausgaben und Tool-Aufrufe nach dessen Bedingungen an LangSmith. Lassen Sie das Tracing aus oder nutzen Sie eine in der EU gehostete Lösung. Ja. Jeder Knoten kann sein eigenes Chat-Modell nutzen. Damit die gesamte Modellverarbeitung in der EU bleibt, setzen Sie für jeden Knoten Modelle von inference.eu ein, ein schnelles für das Routing und ein stärkeres für Schritte mit viel Schlussfolgern. [Frage stellen](https://inference.eu/de/kontakt/) ## Verwandte Seiten [Alle Integrationen](https://inference.eu/de/integrationen/) - [LlamaIndexVerbinden Sie LlamaIndex über die Klasse OpenAILike mit inference.eu und betreiben Sie RAG-Pipelines und Agenten mit Open-Weight-Modellen aus der EU.Frameworks](https://inference.eu/de/integrationen/llamaindex/) - [CrewAIBetreiben Sie CrewAI-Agenten und Crews mit Open-Weight-Modellen aus EU-Rechenzentren, indem Sie der Klasse LLM Basis-URL und Schlüssel von inference.eu geben.Frameworks](https://inference.eu/de/integrationen/crewai/) - [OpenAI SDK (Python and JavaScript)Richten Sie das offizielle OpenAI-SDK für Python oder JavaScript per base\_url auf inference.eu aus und nutzen Sie Open-Weight-Modelle aus der EU.SDKs](https://inference.eu/de/integrationen/openai-sdk/) - [HaystackRichten Sie den OpenAIChatGenerator von Haystack per api\_base\_url auf inference.eu aus und betreiben Sie RAG und Agenten mit Open-Weight-Modellen aus der EU.Frameworks](https://inference.eu/de/integrationen/haystack/) ## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten. - Antwort innerhalb eines Werktags - Preise für Ihr Volumen - AV-Vertrag unterschriftsreif