LangChain mit Open-Source-Modellen aus der EU nutzen

LangChain ist ein quelloffenes Framework für Python und JavaScript zum Bau von Anwendungen auf Sprachmodellen. Es bietet eine gemeinsame Schnittstelle für Chat-Modelle, Prompts, Tools, Retriever und Output-Parser. Mit create_agent und der Bibliothek LangGraph laufen Agenten mit Tool-Aufrufen und zustandsbehaftete Workflows.

Jede LangChain-Komponente, die ein Chat-Modell braucht, akzeptiert jedes Objekt mit dieser gemeinsamen Schnittstelle. Die Klasse ChatOpenAI aus langchain-openai spricht mit jedem Endpunkt im OpenAI-Format, sobald Sie base_url setzen. inference.eu fügt sich damit ohne weitere Codeänderungen in bestehende Chains und Agenten ein.

Übergeben Sie base_url (die Basis-URL von inference.eu mit Endung /v1), api_key und model an ChatOpenAI. In LangChain.js gehört die URL unter configuration: { baseURL }. LangChain liest außerdem OPENAI_API_BASE und OPENAI_BASE_URL, wenn keine URL übergeben wird. Explizite Argumente sind aber klarer, wenn ein Projekt mehrere Anbieter nutzt.

Bei eigener Basis-URL schaltet LangChain Token-Angaben beim Streaming nicht automatisch ein. Setzen Sie daher stream_usage=True. Wählt Ihr Code Modelle aus der Konfiguration, können Sie das Modell auch mit init_chat_model("openai:<Modell-ID>", base_url=..., api_key=...) erzeugen.

Für Retrieval-Augmented Generation, Zusammenfassungen und Extraktion ist gpt-oss-120b ein schneller, leistungsfähiger Standard. Für Agenten mit create_agent oder LangGraph, die mehrere Tools nacheinander aufrufen, liefern qwen3-coder-480b-a35b-instruct, glm-5.3 und kimi-k3 verlässliche Tool-Aufrufe.

glm-5.3 und kimi-k3 eignen sich auch für langen Kontext über große Dokumente und komplexe mehrstufige Planung. Für Extraktion nutzen Sie with_structured_output mit einem Pydantic-Modell, LangChain validiert das Ergebnis. Da Modelle einfache Objekte sind, kann jeder Knoten eines Graphen sein eigenes Modell erhalten, etwa ein schnelles für das Routing und ein stärkeres für das Schlussfolgern.

Ein Fehler 401 bedeutet, dass der Schlüssel fehlt oder LangChain einen alten OPENAI_API_KEY gelesen hat. Übergeben Sie api_key explizit. Ein 404 entsteht meist durch einen zusätzlichen Pfad in base_url oder eine Modell-ID, die es bei inference.eu nicht gibt.

ChatOpenAI folgt ausschließlich der offiziellen OpenAI-Spezifikation. Zusätzliche Felder wie reasoning_content von Reasoning-Modellen bleiben daher nicht in der Nachricht erhalten. Eingebaute Tools oder Parameter, die nur die Responses API von OpenAI kennt, schalten ChatOpenAI auf diese API um. Setzen Sie use_responses_api=False und bleiben Sie bei Funktionen von Chat Completions.

Mit base_url auf inference.eu werden alle Prompts, abgerufenen Dokumente und Tool-Ergebnisse, die Ihre Chains an das Modell senden, in EU-Rechenzentren verarbeitet und nie zum Training verwendet. Wir schließen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, veröffentlichen unsere Unterauftragsverarbeiter und rechnen in Euro ab.

LangChain selbst ruft nur die konfigurierten Dienste auf. Embeddings, Vektordatenbanken und Tracing sind eigenständig: Aktivieren Sie das Tracing mit LangSmith, gehen Prompts und Ausgaben nach dessen Bedingungen an LangSmith. Wählen Sie für diese Bausteine in der EU gehostete Optionen oder lassen Sie das Tracing aus, damit die gesamte Pipeline in Europa bleibt.