Den Reranker bge-reranker-v2-m3 in der EU über unsere API nutzen

bge-reranker-v2-m3 wurde im März 2024 von der Beijing Academy of Artificial Intelligence (BAAI) unter der Apache-2.0-Lizenz veröffentlicht. Er basiert auf dem Embedding-Modell bge-m3 und hat rund 568 Millionen Parameter. BAAI beschreibt ihn als schlanken Reranker mit starken mehrsprachigen Fähigkeiten, einfach zu betreiben und schnell in der Inferenz.

Anders als ein Embedding-Modell, das Anfrage und Dokument getrennt in Vektoren umwandelt, ist ein Reranker ein Cross-Encoder: Er liest Anfrage und Text als eine Eingabe und gibt einen einzigen Wert aus. Das ist pro Paar langsamer, aber deutlich genauer. Deshalb setzt man Reranker als zweiten Schritt auf eine kurze Kandidatenliste an.

Der Reranker schärft das Retrieval in Such- und RAG-Systemen. Nachdem bge-m3 oder ein anderes Embedding-Modell die besten 50 bis 100 Kandidaten geliefert hat, sortiert bge-reranker-v2-m3 sie neu, sodass das Chat-Modell zuerst die Abschnitte sieht, die die Frage wirklich beantworten. Er funktioniert über viele Sprachen hinweg, auch bei gemischtsprachigen Anfragen, und hält den Zusatzschritt dank geringer Größe günstig.

Einen ganzen Bestand kann er nicht selbst durchsuchen: Jedes Paar aus Anfrage und Text braucht einen eigenen Durchlauf, er passt also nur zu kurzen Kandidatenlisten. Die Werte sind relativ, keine kalibrierten Wahrscheinlichkeiten. Größere BAAI-Reranker auf Basis von Gemma oder MiniCPM sortieren schwierige Fälle teils besser, bei höherem Rechenaufwand.

Setzen Sie die Base-URL auf die inference.eu-API, verwenden Sie Ihren inference.eu-Schlüssel und tragen Sie als Modell bge-reranker-v2-m3 ein. Senden Sie eine Anfrage an den Rerank-Endpunkt /v1/rerank mit einer query und einer Liste von documents. Die Antwort enthält für jedes Dokument einen Relevanzwert, nach dem Sie sortieren, bevor die besten an ein Chat-Modell gehen.

Der Rohwert kann jede reelle Zahl sein. Laut BAAI bildet eine Sigmoidfunktion ihn auf einen Wert zwischen 0 und 1 ab, was das Festlegen einer Schwelle für schwache Treffer erleichtert. Frameworks wie LangChain und LlamaIndex binden den Reranker als Nachbearbeitungsschritt nach dem Vektor-Retrieval ein.

Ein Reranker sieht die Frage des Nutzers und den vollständigen Text aller Kandidaten, oft die sensibelsten Teile Ihrer Wissensbasis. Auf inference.eu läuft bge-reranker-v2-m3 auf Infrastruktur in der Europäischen Union. Anfragen und Dokumente werden in Rechenzentren in der EU verarbeitet, nicht nach China gesendet und nie zum Training eines Modells verwendet.

Jeder Kunde erhält einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO und unsere Liste der Unterauftragsverarbeiter. So lässt sich die ganze Retrieval-Pipeline, vom Embedding über das Reranking bis zur Antwort, mit einem Anbieter dokumentieren. Abgerechnet wird in Euro. Die Apache-2.0-Lizenz erlaubt kommerzielle Nutzung ohne Nutzergrenzen.