inference.eu

Embeddings · Qwen (Alibaba Cloud)

Qwen3 Embedding 8B in der EU über eine OpenAI-kompatible Embeddings-API nutzen

Qwen3 Embedding 8B wandelt Text in Vektoren für semantische Suche, Retrieval-Augmented Generation, Clustering und Klassifizierung. Es beherrscht über 100 Sprachen, auch Programmiersprachen, und liest bis zu 32.000 Tokens pro Eingabe. Auf inference.eu rufen Sie es im OpenAI-Embeddings-Format auf, Ihre Dokumente werden in Rechenzentren in der EU verarbeitet und nie zum Training genutzt.

  1. 018B
  2. 02Rechenzentren in der EU
  3. 03Apache 2.0

Was Qwen3 Embedding 8B ist

Qwen3 Embedding 8B ist das größte Modell der Qwen3-Embedding-Reihe von Alibaba, veröffentlicht im Juni 2025 unter der Apache-2.0-Lizenz. Es basiert auf dem Qwen3-Grundmodell, hat 8 Milliarden Parameter und 36 Schichten und erzeugt Embeddings mit bis zu 4096 Dimensionen.

Es verarbeitet Eingaben mit bis zu 32.000 Tokens, lange Dokumente lassen sich also ohne aufwendiges Chunking einbetten. Es unterstützt über 100 natürliche und Programmiersprachen und eignet sich damit für mehrsprachiges und sprachübergreifendes Retrieval sowie für Codesuche. Zur selben Reihe gehören Reranking-Modelle für einen zweiten, genaueren Sortierschritt.

Stärken und Grenzen

Die Stärken des Modells sind Retrieval-Qualität über viele Sprachen, lange Eingaben und Flexibilität. Dank Matryoshka Representation Learning können Sie kürzere Vektoren von 32 bis 4096 Dimensionen anfordern und so mit wenig Genauigkeitsverlust deutlich kleinere Indizes bauen. Zudem ist es instruktionsfähig: Eine kurze Aufgabenbeschreibung bei der Suchanfrage verbessert die Ergebnisse laut Qwen meist um 1 bis 5 Prozent.

Der Nachteil ist die Größe. Mit 8 Milliarden Parametern ist es weit schwerer als Encoder wie bge-m3 oder multilingual-e5-large-instruct, das Einbetten sehr großer Bestände braucht also mehr Rechenleistung. Bei kurzen Texten und riesigen Indizes ist ein kleineres Modell oft die praktischere Wahl.

Qwen3 Embedding 8B über die API aufrufen

inference.eu verwendet das OpenAI-Anfrageformat. Jedes OpenAI-SDK, LangChain, LlamaIndex und jede Vektordatenbank-Integration, die /v1/embeddings aufruft, funktioniert daher unverändert. Setzen Sie die Base-URL auf die inference.eu-API, verwenden Sie Ihren inference.eu-Schlüssel und tragen Sie als Modell qwen3-embedding-8b ein.

Übergeben Sie als input einen Text oder eine Liste von Texten. Mit dem Parameter dimensions fordern Sie kürzere Vektoren passend zu Ihrem Index an. Stellen Sie Suchanfragen eine einzeilige Aufgabe voran, etwa Instruct: Given a web search query, retrieve relevant passages that answer the query, gefolgt von Query: und der Frage. Dokumente brauchen keine Instruktion. Qwen empfiehlt englische Instruktionen.

Datenhaltung in der EU

Wer eine Wissensdatenbank einbettet, schickt den gesamten Bestand an das Modell: Verträge, Tickets, Wikis und Kundendaten. Auf inference.eu läuft Qwen3 Embedding 8B auf Infrastruktur in der Europäischen Union. Diese Texte werden in Rechenzentren in der EU verarbeitet, nicht an Alibaba in China gesendet und nie zum Training eines Modells verwendet.

Jeder Kunde erhält einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO und unsere Liste der Unterauftragsverarbeiter. Das erleichtert die Dokumentation der RAG-Pipeline im Verzeichnis von Verarbeitungstätigkeiten. Abgerechnet wird in Euro. Die Apache-2.0-Lizenz erlaubt kommerzielle Nutzung ohne Nutzergrenzen.

qwen3-embedding-8b · Python
import os
from openai import OpenAI

client = OpenAI(base_url="https://api.inference.eu/v1", api_key=os.environ["INFERENCE_EU_API_KEY"])

result = client.embeddings.create(
    model="qwen3-embedding-8b",
    input=["Where is my data processed?"],
)
print(len(result.data[0].embedding))

Wofür Teams es einsetzen

  • 1

    Mehrsprachige Unternehmenssuche

    Dokumente auf Deutsch, Französisch, Englisch und in weiteren Sprachen indexieren und mit einer Anfrage in jeder dieser Sprachen finden.

  • 2

    Retrieval für RAG-Assistenten

    Die passenden Abschnitte aus langen Richtlinien, Handbüchern oder Verträgen finden, bevor ein Chat-Modell die Antwort formuliert.

  • 3

    Codesuche

    Funktionen und Codeschnipsel über mehrere Repositorys hinweg anhand einer Beschreibung in natürlicher Sprache finden.

  • 4

    Clustering und Klassifizierung

    Support-Tickets oder Feedback nach Themen gruppieren und per Vektorähnlichkeit weiterleiten.

Qwen3 Embedding 8B: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Frage stellen

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

  • Antwort innerhalb eines Werktags
  • Preise für Ihr Volumen
  • AV-Vertrag unterschriftsreif