Was ist Prompt-Caching?

Prompt-Caching verwendet die verarbeitete Form der ersten Tokens eines Prompts wieder, wenn eine neue Anfrage mit demselben Text beginnt. Das Modell verarbeitet dann nur den neuen Teil. Lange Systemprompts, Werkzeugdefinitionen und wiederkehrende Dokumente werden einmal verarbeitet und genutzt, solange der Cache warm ist.

Muss ich Prompt-Caching aktivieren?

Nein. Bei unterstützten Modellen ist Caching automatisch aktiv. Den größten Nutzen haben Sie, wenn stabile Inhalte am Anfang und wechselnde am Ende des Prompts stehen. Jede Antwort zeigt, wie viele Tokens aus dem Cache kamen, sodass Sie die Wirkung prüfen können.

Wie sehe ich, ob meine Anfrage den Cache genutzt hat?

Lesen Sie `usage.prompt_tokens_details.cached_tokens` in Chat Completions, `usage.input_tokens_details.cached_tokens` in der Responses API oder `usage.cache_read_input_tokens` im Messages-Format. Ein Wert über null bedeutet, dass ein Teil des Prompts aus dem Cache stammt; bei null wurde der ganze Prompt neu verarbeitet.

Warum erhalte ich keine Cache-Treffer?

Meist ändert sich am Anfang des Prompts bei jeder Anfrage etwas, etwa das aktuelle Datum, eine Anfrage-ID oder ein Nutzername im Systemprompt. Verschieben Sie solche Angaben ans Ende. Prüfen Sie außerdem, ob der Prompt lang genug ist und die Anfragen zeitlich nicht zu weit auseinanderliegen.

Beeinflusst Caching die Qualität der Antworten?

Nein. Das Modell liest mit und ohne Cache exakt dieselben Tokens. Caching überspringt nur die wiederholte Arbeit am gemeinsamen Anfang des Prompts, die Antworten entsprechen also dem, was Sie auch ohne Cache erhalten würden.

Werden gecachte Daten mit anderen Kunden geteilt?

Nein. Cache-Einträge sind pro Organisation getrennt und dienen nur Ihren eigenen Anfragen. Sie liegen im Arbeitsspeicher europäischer Rechenzentren, verfallen nach einer Zeit ohne Nutzung und werden nie zum Training von Modellen verwendet.

Funktioniert Prompt-Caching im Anthropic-Format?

Ja. Anfragen an `/v1/messages` profitieren vom automatischen Caching, und Clients, die `cache_control` an Inhaltsblöcke hängen, wie viele Anthropic-Werkzeuge, laufen ohne Änderungen. Die Cache-Nutzung wird in `cache_read_input_tokens` gemeldet, wie Anthropic-Clients es erwarten.

Sind gecachte Tokens günstiger?

Wie gecachte Tokens abgerechnet werden, hängt von Ihrem Tarif ab und wird vor dem Start mit Ihnen geklärt. Unabhängig davon beginnen lange, wiederholte Prompts mit Caching schneller zu antworten, was sich in Chat-Anwendungen und Agenten-Schleifen deutlich bemerkbar macht.

Prompt-Caching für LLM-APIs · schnellere Wiederholungen, EU

cached_prompt.py

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.inference.eu/v1", api_key=os.environ["INFERENCE_EU_API_KEY"])

# Long, stable prefix first: policy text that is the same for every question
POLICY = open("travel-expenses-policy.md").read()

def ask(question: str):
    reply = client.chat.completions.create(
        model="gpt-oss-120b",
        messages=[
            {"role": "system", "content": "Answer questions about the travel policy below. Quote the section number.\n\n" + POLICY},
            {"role": "user", "content": question},  # variable part last
        ],
    )
    cached = reply.usage.prompt_tokens_details.cached_tokens
    print(f"{cached} of {reply.usage.prompt_tokens} prompt tokens came from the cache")
    return reply.choices[0].message.content

ask("Can I book business class for a six-hour flight?")
ask("What is the daily meal allowance in Germany?")

So funktioniert Prompt-Caching

Bevor ein Modell etwas schreibt, verarbeitet es den gesamten Prompt. Beginnt eine neue Anfrage mit genau denselben Tokens wie eine kürzlich gesendete, kann die API den verarbeiteten Zustand für dieses gemeinsame Präfix wiederverwenden und verarbeitet nur das Neue. Man spricht von Präfix-Caching: Der Abgleich beginnt beim ersten Token und endet beim ersten Unterschied.

Caching läuft bei unterstützten Modellen automatisch über Chat Completions, Responses und Messages, ohne zusätzliche Felder. Der Cache liegt im Arbeitsspeicher derselben europäischen Rechenzentren, die Ihre Anfragen verarbeiten, ist zwischen Organisationen getrennt und verfällt nach einer Zeit ohne Nutzung.

Prompts für Cache-Treffer aufbauen

Stellen Sie Gleichbleibendes an den Anfang und Wechselndes ans Ende. Eine gute Reihenfolge ist: Systemprompt, Werkzeugdefinitionen, lange Referenzdokumente, frühere Gesprächsrunden und zuletzt die neue Nutzernachricht. Schon eine kleine Änderung am Anfang, etwa ein Zeitstempel oder Nutzername im Systemprompt, macht alles Folgende zum Fehltreffer.

Halten Sie den stabilen Teil Byte für Byte identisch: gleiche Leerzeichen, gleiche Reihenfolge der Werkzeuge, gleiche JSON-Serialisierung. In Chat-Anwendungen hängen Sie neue Runden an, statt den Verlauf umzuschreiben, damit jede Anfrage das gecachte Präfix der vorigen verlängert. Senden Sie zusammengehörige Anfragen zeitnah, solange der Cache warm ist.

Die Wirkung messen

Jede Antwort meldet, wie viele Prompt-Tokens aus dem Cache kamen. In Chat Completions lesen Sie usage.prompt_tokens_details.cached_tokens, in der Responses API usage.input_tokens_details.cached_tokens und im Messages-Format usage.cache_read_input_tokens. Protokollieren Sie den Wert neben den gesamten Prompt-Tokens, um die Trefferquote pro Funktion zu sehen.

Eine niedrige Trefferquote bedeutet meist, dass sich am Anfang des Prompts bei jedem Aufruf etwas ändert. Vergleichen Sie zwei aufeinanderfolgende Prompts und suchen Sie den ersten Unterschied. Clients im Anthropic-Format, die cache_control an Inhaltsblöcke hängen, funktionieren unverändert. Wie gecachte Tokens abgerechnet werden, hängt von Ihrem Tarif ab und wird mit Ihnen abgestimmt.

Grenzen und Sonderfälle

Sehr kurze Prompts lohnen das Caching nicht, deshalb greift es erst ab einer Mindestlänge, die vom Modell abhängt. Cache-Einträge werden nach Inaktivität und bei hoher Last verdrängt. Ein Treffer ist also wahrscheinlich, aber nie garantiert, und Ihre Anwendung muss in beiden Fällen gleich funktionieren.

Caching verändert die Ausgabe nicht. Das Modell liest dieselben Tokens und liefert dieselbe Art von Antwort; nur die Arbeit am gemeinsamen Präfix entfällt. Gecachte Daten dienen ausschließlich den Anfragen Ihrer Organisation, bleiben in der EU und werden nie für Training verwendet. Auch Batches profitieren, wenn viele Zeilen dasselbe Präfix haben.

Prompt-Caching: lange Prompts über Anfragen hinweg wiederverwenden

So funktioniert Prompt-Caching

Prompts für Cache-Treffer aufbauen

Die Wirkung messen

Grenzen und Sonderfälle

Prompt caching: häufige Fragen

Verwandte Seiten

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur