--- title: "Rerank-API aus der EU · bessere RAG-Ergebnisse" description: "Sortieren Sie Suchergebnisse für RAG nach Relevanz mit einer Rerank-API. Cross-Encoder-Modelle wie bge-reranker-v2-m3, Verarbeitung in Rechenzentren der EU." canonical: "https://inference.eu/de/api/rerank/" language: "de" --- POST /v1/rerank # Rerank-API: Suchergebnisse nach Relevanz sortieren, in der EU Der Rerank-Endpunkt erhält eine Anfrage und eine Liste von Kandidaten und gibt diese danach sortiert zurück, wie gut jedes Dokument die Anfrage beantwortet. In einer RAG-Pipeline sitzt er zwischen Vektorsuche und Sprachmodell und ist oft der günstigste Weg zu spürbar genaueren Antworten. Anfragen und Dokumente werden in europäischen Rechenzentren verarbeitet. [Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Beispielanfrage](#example) 1. 01API-Format: OpenAI 2. 02Rechenzentren in der EU 3. 03Durch einen AV-Vertrag abgedeckt POST /v1/rerank ``` curl https://api.inference.eu/v1/rerank \ -H "Authorization: Bearer $INFERENCE_EU_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "bge-reranker-v2-m3", "query": "Can an employee carry unused holiday into next year?", "documents": [ "Unused annual leave may be carried over until 31 March of the following year.", "The office is closed between Christmas and New Year.", "Urlaubsansprüche verfallen nicht, wenn der Arbeitgeber nicht auf den Verfall hingewiesen hat.", "Expense claims must be submitted within 30 days." ], "top_n": 2 }' # {"results": [{"index": 0, "relevance_score": 0.94}, {"index": 2, "relevance_score": 0.81}], ...} ``` ## Was der Endpunkt leistet `POST /v1/rerank` erwartet ein `model`, eine `query` und ein Array `documents` aus Strings. Ein Reranker wie `bge-reranker-v2-m3` liest Anfrage und Dokument gemeinsam und beurteilt Relevanz dadurch weit genauer als der Vergleich zweier getrennt berechneter Embeddings. Der Preis dafür ist Geschwindigkeit, deshalb sortieren Sie eine kurze Kandidatenliste um und nicht den ganzen Bestand. Die Antwort enthält ein Array `results`, sortiert von der höchsten zur niedrigsten Relevanz. Jedes Ergebnis nennt den `index` des Dokuments in Ihrem ursprünglichen Array und einen `relevance_score`. Über den Index finden Sie Dokument und Metadaten auf Ihrer Seite. ## Die wichtigsten Felder der Anfrage `top_n` begrenzt die Zahl der zurückgegebenen Ergebnisse; ohne das Feld erhalten Sie für jedes Dokument eine Bewertung. Mit `return_documents: true` enthält jedes Ergebnis zusätzlich den Dokumenttext. Das erspart einen Nachschlag, vergrößert aber die Antwort. Das Anfrageformat folgt dem Rerank-Schema, das die meisten Suchbibliotheken und RAG-Frameworks verwenden. Integrationen mit einstellbarem Rerank-Endpunkt lassen sich daher meist durch Ändern von URL, Schlüssel und Modell auf inference.eu umstellen. `bge-reranker-v2-m3` ist mehrsprachig: Eine englische Frage kann deutsche oder französische Passagen korrekt einordnen. ## Embeddings plus Rerank, das Standardmuster für RAG Erstens betten Sie die Frage ein und holen etwa 30 bis 50 nächste Abschnitte aus Ihrer Vektordatenbank. Dieser Schritt ist schnell und findet viel, sortiert aber ungenau. Zweitens senden Sie Frage und Abschnitte an den Rerank-Endpunkt und behalten die besten drei bis acht. Drittens geben Sie diese Abschnitte einem Chat-Modell und lassen es mit Verweisen darauf antworten. Die Bewertung taugt auch als Schwelle. Liegt selbst das beste Ergebnis niedrig, teilen Sie mit, dass die Wissensbasis keine gute Antwort enthält, statt das Modell raten zu lassen. Stimmen Sie diese Schwelle mit echten Fragen ab. ## Fehler und Sonderfälle Jedes Paar aus Anfrage und Dokument muss in die Eingabelänge des Rerankers passen. Längere Dokumente werden auf Modellseite gekürzt, sortieren Sie also Abschnitte ähnlicher Größe wie beim Einbetten um, keine ganzen Dateien. Ein leeres Array `documents` oder eine leere Anfrage ergeben einen 400-Fehler. Bewertungen sind nur innerhalb eines Modells vergleichbar; übertragen Sie Schwellen nicht zwischen Rerankern. Sehr lange Kandidatenlisten verlangsamen die Anfrage, ohne viel zu bringen, denn eine gute Vorauswahl bringt die Antwort bereits unter die ersten 50. Die Zahl der Dokumente pro Anfrage hängt von Ihrem Tarif ab und wird mit Ihnen abgestimmt. ## Rerank Endpunkt POST /v1/rerank Kategorie Endpunkte API-Format OpenAI Base URL api.inference.eu/v1 Verarbeitung Rechenzentren in der EU Training mit Ihren Daten Nie ## Rerank: häufige Fragen Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt. Ein Reranker ist ein Modell, das bewertet, wie relevant eine Passage für eine Anfrage ist, indem es beide gemeinsam liest. Bei Retrieval-Augmented Generation sortiert er die Ergebnisse der Vektorsuche neu, sodass das Chat-Modell die nützlichsten Passagen zuerst erhält. Das verbessert Antworten oft stärker als ein größeres Chat-Modell. Ja. Jeden Eintrag eines großen Bestands umzusortieren wäre viel zu langsam. Embeddings oder Stichwortsuche finden schnell eine kurze Kandidatenliste, der Reranker ordnet sie dann präzise. Beide Schritte greifen ineinander und laufen über die inference.eu API. \`bge-reranker-v2-m3\` ist ein starker mehrsprachiger Standard für Deutsch, Französisch, Englisch und viele weitere Sprachen. Prüfen Sie mit \`GET /v1/models\`, welche Reranker Ihr Schlüssel nutzen darf, und vergleichen Sie sie mit Ihren eigenen Fragen: Landet die richtige Passage unter den ersten drei? Das Limit pro Anfrage hängt vom Modell und Ihrem Tarif ab und wird mit Ihnen abgestimmt. In der Praxis sind 20 bis 100 Kandidaten sinnvoll: Weniger riskiert, die Antwort zu verpassen, mehr kostet Zeit ohne großen Gewinn. Größere Listen teilen Sie auf mehrere Anfragen auf und führen die Bewertungen zusammen. Die Anfrage nimmt \`model\`, \`query\`, \`documents\`, \`top\_n\` und \`return\_documents\` entgegen und liefert \`results\` mit \`index\` und \`relevance\_score\`. Diese Struktur erwarten die meisten Rerank-Clients und Frameworks, viele funktionieren daher nach Änderung von URL, Schlüssel und Modell-ID. Prüfen Sie die Feldnamen, die Ihr Client sendet. Der Wert ist die Einschätzung des Modells, wie relevant das Dokument für die Anfrage ist; höher heißt relevanter. Damit sortieren Sie Ergebnisse und legen eine Mindestschwelle fest. Es handelt sich aber nicht um Wahrscheinlichkeiten, und Werte verschiedener Reranker lassen sich nicht vergleichen. Ja, mit einem mehrsprachigen Reranker wie \`bge-reranker-v2-m3\`. Er bewertet etwa eine deutsche Vertragsklausel gegenüber einer englischen Frage, was in europäischen Unternehmen mit gemischtsprachigen Dokumenten häufig vorkommt. Halten Sie die Abschnittsgröße über die Sprachen hinweg ähnlich, damit die Werte konsistent bleiben. Sie werden in Rechenzentren in der EU verarbeitet, um die Bewertungen zu berechnen, und nie zum Training von Modellen verwendet. Rerank-Anfragen dienen allein der Beantwortung. Wenn Ihr Vertrag besondere Regeln zu Protokollierung oder Aufbewahrung braucht, bestätigen wir sie Ihnen schriftlich. [Frage stellen](https://inference.eu/de/kontakt/) ## Verwandte Seiten [API-Überblick](https://inference.eu/de/api/) - [EmbeddingsWandeln Sie Text in Vektoren für Suche, RAG und Clustering um. OpenAI-kompatible Embeddings-API mit offenen Modellen, Verarbeitung in Rechenzentren der EU.Endpunkte](https://inference.eu/de/api/embeddings/) - [Document conversionWandeln Sie PDF-, Word-, PowerPoint- und Excel-Dateien in sauberes Markdown für RAG und Prompts um. Tabellen, Überschriften und Scans, verarbeitet in der EU.Tools](https://inference.eu/de/api/document-conversion/) - [Chat completionsSenden Sie Chat-Nachrichten im OpenAI-Format an Open-Weight-Modelle. Verarbeitung in Rechenzentren in der EU, keine Nutzung Ihrer Daten für Training.Endpunkte](https://inference.eu/de/api/chat-completions/) ## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten. - Antwort innerhalb eines Werktags - Preise für Ihr Volumen - AV-Vertrag unterschriftsreif