---
title: "Prompt-Caching für LLM-APIs · schnellere Wiederholungen, EU"
description: "Verwenden Sie den verarbeiteten Anfang eines Prompts mit automatischem Prompt-Caching erneut. Prompts für Cache-Treffer aufbauen und cached_tokens auslesen."
canonical: "https://inference.eu/de/api/prompt-caching/"
language: "de"
---

Anleitungen · Prompt caching

# Prompt-Caching: lange Prompts über Anfragen hinweg wiederverwenden

Viele Anwendungen senden zu Beginn jeder Anfrage denselben langen Text: einen Systemprompt, Werkzeugdefinitionen, eine Richtlinie oder frühere Gesprächsrunden. Prompt-Caching lässt das Modell die bereits geleistete Arbeit an diesem gemeinsamen Anfang wiederverwenden, sodass wiederholte Anfragen schneller zu antworten beginnen. Es funktioniert automatisch, und jede Antwort zeigt, wie viel des Prompts aus dem Cache kam.

[Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Beispielanfrage](#example)

1.  01API-Format: OpenAI und Anthropic
2.  02Rechenzentren in der EU
3.  03Durch einen AV-Vertrag abgedeckt

cached\_prompt.py

```
import os
from openai import OpenAI

client = OpenAI(base_url="https://api.inference.eu/v1", api_key=os.environ["INFERENCE_EU_API_KEY"])

# Long, stable prefix first: policy text that is the same for every question
POLICY = open("travel-expenses-policy.md").read()

def ask(question: str):
    reply = client.chat.completions.create(
        model="gpt-oss-120b",
        messages=[
            {"role": "system", "content": "Answer questions about the travel policy below. Quote the section number.\n\n" + POLICY},
            {"role": "user", "content": question},  # variable part last
        ],
    )
    cached = reply.usage.prompt_tokens_details.cached_tokens
    print(f"{cached} of {reply.usage.prompt_tokens} prompt tokens came from the cache")
    return reply.choices[0].message.content

ask("Can I book business class for a six-hour flight?")
ask("What is the daily meal allowance in Germany?")
```

## So funktioniert Prompt-Caching

Bevor ein Modell etwas schreibt, verarbeitet es den gesamten Prompt. Beginnt eine neue Anfrage mit genau denselben Tokens wie eine kürzlich gesendete, kann die API den verarbeiteten Zustand für dieses gemeinsame Präfix wiederverwenden und verarbeitet nur das Neue. Man spricht von Präfix-Caching: Der Abgleich beginnt beim ersten Token und endet beim ersten Unterschied.

Caching läuft bei unterstützten Modellen automatisch über Chat Completions, Responses und Messages, ohne zusätzliche Felder. Der Cache liegt im Arbeitsspeicher derselben europäischen Rechenzentren, die Ihre Anfragen verarbeiten, ist zwischen Organisationen getrennt und verfällt nach einer Zeit ohne Nutzung.

## Prompts für Cache-Treffer aufbauen

Stellen Sie Gleichbleibendes an den Anfang und Wechselndes ans Ende. Eine gute Reihenfolge ist: Systemprompt, Werkzeugdefinitionen, lange Referenzdokumente, frühere Gesprächsrunden und zuletzt die neue Nutzernachricht. Schon eine kleine Änderung am Anfang, etwa ein Zeitstempel oder Nutzername im Systemprompt, macht alles Folgende zum Fehltreffer.

Halten Sie den stabilen Teil Byte für Byte identisch: gleiche Leerzeichen, gleiche Reihenfolge der Werkzeuge, gleiche JSON-Serialisierung. In Chat-Anwendungen hängen Sie neue Runden an, statt den Verlauf umzuschreiben, damit jede Anfrage das gecachte Präfix der vorigen verlängert. Senden Sie zusammengehörige Anfragen zeitnah, solange der Cache warm ist.

## Die Wirkung messen

Jede Antwort meldet, wie viele Prompt-Tokens aus dem Cache kamen. In Chat Completions lesen Sie `usage.prompt_tokens_details.cached_tokens`, in der Responses API `usage.input_tokens_details.cached_tokens` und im Messages-Format `usage.cache_read_input_tokens`. Protokollieren Sie den Wert neben den gesamten Prompt-Tokens, um die Trefferquote pro Funktion zu sehen.

Eine niedrige Trefferquote bedeutet meist, dass sich am Anfang des Prompts bei jedem Aufruf etwas ändert. Vergleichen Sie zwei aufeinanderfolgende Prompts und suchen Sie den ersten Unterschied. Clients im Anthropic-Format, die `cache_control` an Inhaltsblöcke hängen, funktionieren unverändert. Wie gecachte Tokens abgerechnet werden, hängt von Ihrem Tarif ab und wird mit Ihnen abgestimmt.

## Grenzen und Sonderfälle

Sehr kurze Prompts lohnen das Caching nicht, deshalb greift es erst ab einer Mindestlänge, die vom Modell abhängt. Cache-Einträge werden nach Inaktivität und bei hoher Last verdrängt. Ein Treffer ist also wahrscheinlich, aber nie garantiert, und Ihre Anwendung muss in beiden Fällen gleich funktionieren.

Caching verändert die Ausgabe nicht. Das Modell liest dieselben Tokens und liefert dieselbe Art von Antwort; nur die Arbeit am gemeinsamen Präfix entfällt. Gecachte Daten dienen ausschließlich den Anfragen Ihrer Organisation, bleiben in der EU und werden nie für Training verwendet. Auch Batches profitieren, wenn viele Zeilen dasselbe Präfix haben.

## Prompt caching

Kategorie

Anleitungen

API-Format

OpenAI und Anthropic

Base URL

api.inference.eu/v1

Verarbeitung

Rechenzentren in der EU

Training mit Ihren Daten

Nie

## Prompt caching: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Prompt-Caching verwendet die verarbeitete Form der ersten Tokens eines Prompts wieder, wenn eine neue Anfrage mit demselben Text beginnt. Das Modell verarbeitet dann nur den neuen Teil. Lange Systemprompts, Werkzeugdefinitionen und wiederkehrende Dokumente werden einmal verarbeitet und genutzt, solange der Cache warm ist.

Nein. Bei unterstützten Modellen ist Caching automatisch aktiv. Den größten Nutzen haben Sie, wenn stabile Inhalte am Anfang und wechselnde am Ende des Prompts stehen. Jede Antwort zeigt, wie viele Tokens aus dem Cache kamen, sodass Sie die Wirkung prüfen können.

Lesen Sie \`usage.prompt\_tokens\_details.cached\_tokens\` in Chat Completions, \`usage.input\_tokens\_details.cached\_tokens\` in der Responses API oder \`usage.cache\_read\_input\_tokens\` im Messages-Format. Ein Wert über null bedeutet, dass ein Teil des Prompts aus dem Cache stammt; bei null wurde der ganze Prompt neu verarbeitet.

Meist ändert sich am Anfang des Prompts bei jeder Anfrage etwas, etwa das aktuelle Datum, eine Anfrage-ID oder ein Nutzername im Systemprompt. Verschieben Sie solche Angaben ans Ende. Prüfen Sie außerdem, ob der Prompt lang genug ist und die Anfragen zeitlich nicht zu weit auseinanderliegen.

Nein. Das Modell liest mit und ohne Cache exakt dieselben Tokens. Caching überspringt nur die wiederholte Arbeit am gemeinsamen Anfang des Prompts, die Antworten entsprechen also dem, was Sie auch ohne Cache erhalten würden.

Nein. Cache-Einträge sind pro Organisation getrennt und dienen nur Ihren eigenen Anfragen. Sie liegen im Arbeitsspeicher europäischer Rechenzentren, verfallen nach einer Zeit ohne Nutzung und werden nie zum Training von Modellen verwendet.

Ja. Anfragen an \`/v1/messages\` profitieren vom automatischen Caching, und Clients, die \`cache\_control\` an Inhaltsblöcke hängen, wie viele Anthropic-Werkzeuge, laufen ohne Änderungen. Die Cache-Nutzung wird in \`cache\_read\_input\_tokens\` gemeldet, wie Anthropic-Clients es erwarten.

Wie gecachte Tokens abgerechnet werden, hängt von Ihrem Tarif ab und wird vor dem Start mit Ihnen geklärt. Unabhängig davon beginnen lange, wiederholte Prompts mit Caching schneller zu antworten, was sich in Chat-Anwendungen und Agenten-Schleifen deutlich bemerkbar macht.

[Frage stellen](https://inference.eu/de/kontakt/)

## Verwandte Seiten

[API-Überblick](https://inference.eu/de/api/)

-   [Chat completionsSenden Sie Chat-Nachrichten im OpenAI-Format an Open-Weight-Modelle. Verarbeitung in Rechenzentren in der EU, keine Nutzung Ihrer Daten für Training.Endpunkte](https://inference.eu/de/api/chat-completions/)
-   [Count tokensZählen Sie die Eingabe-Tokens einer Messages-Anfrage, bevor Sie sie senden. Anthropic-kompatibler Endpunkt count\_tokens auf inference.eu, Verarbeitung in der EU.Endpunkte](https://inference.eu/de/api/count-tokens/)
-   [Messages (Anthropic format)Rufen Sie Open-Weight-Modelle im Anthropic-Messages-Format auf inference.eu auf. Kompatibel mit Anthropic-SDKs und Claude Code, Verarbeitung in der EU.Endpunkte](https://inference.eu/de/api/messages/)
-   [Rate limits and errorsSo funktionieren Rate Limits und Fehler bei der inference.eu API. HTTP-Statuscodes, das Fehlerobjekt, Rate-Limit-Header und ein belastbares Retry-Muster.Anleitungen](https://inference.eu/de/api/rate-limits-and-errors/)

## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

-   Antwort innerhalb eines Werktags
-   Preise für Ihr Volumen
-   AV-Vertrag unterschriftsreif