Rerank-API: Suchergebnisse nach Relevanz sortieren, in der EU

POST /v1/rerank erwartet ein model, eine query und ein Array documents aus Strings. Ein Reranker wie bge-reranker-v2-m3 liest Anfrage und Dokument gemeinsam und beurteilt Relevanz dadurch weit genauer als der Vergleich zweier getrennt berechneter Embeddings. Der Preis dafür ist Geschwindigkeit, deshalb sortieren Sie eine kurze Kandidatenliste um und nicht den ganzen Bestand.

Die Antwort enthält ein Array results, sortiert von der höchsten zur niedrigsten Relevanz. Jedes Ergebnis nennt den index des Dokuments in Ihrem ursprünglichen Array und einen relevance_score. Über den Index finden Sie Dokument und Metadaten auf Ihrer Seite.

top_n begrenzt die Zahl der zurückgegebenen Ergebnisse; ohne das Feld erhalten Sie für jedes Dokument eine Bewertung. Mit return_documents: true enthält jedes Ergebnis zusätzlich den Dokumenttext. Das erspart einen Nachschlag, vergrößert aber die Antwort.

Das Anfrageformat folgt dem Rerank-Schema, das die meisten Suchbibliotheken und RAG-Frameworks verwenden. Integrationen mit einstellbarem Rerank-Endpunkt lassen sich daher meist durch Ändern von URL, Schlüssel und Modell auf inference.eu umstellen. bge-reranker-v2-m3 ist mehrsprachig: Eine englische Frage kann deutsche oder französische Passagen korrekt einordnen.

Erstens betten Sie die Frage ein und holen etwa 30 bis 50 nächste Abschnitte aus Ihrer Vektordatenbank. Dieser Schritt ist schnell und findet viel, sortiert aber ungenau. Zweitens senden Sie Frage und Abschnitte an den Rerank-Endpunkt und behalten die besten drei bis acht. Drittens geben Sie diese Abschnitte einem Chat-Modell und lassen es mit Verweisen darauf antworten.

Die Bewertung taugt auch als Schwelle. Liegt selbst das beste Ergebnis niedrig, teilen Sie mit, dass die Wissensbasis keine gute Antwort enthält, statt das Modell raten zu lassen. Stimmen Sie diese Schwelle mit echten Fragen ab.

Jedes Paar aus Anfrage und Dokument muss in die Eingabelänge des Rerankers passen. Längere Dokumente werden auf Modellseite gekürzt, sortieren Sie also Abschnitte ähnlicher Größe wie beim Einbetten um, keine ganzen Dateien. Ein leeres Array documents oder eine leere Anfrage ergeben einen 400-Fehler.

Bewertungen sind nur innerhalb eines Modells vergleichbar; übertragen Sie Schwellen nicht zwischen Rerankern. Sehr lange Kandidatenlisten verlangsamen die Anfrage, ohne viel zu bringen, denn eine gute Vorauswahl bringt die Antwort bereits unter die ersten 50. Die Zahl der Dokumente pro Anfrage hängt von Ihrem Tarif ab und wird mit Ihnen abgestimmt.