--- title: "Token-Zähler-API · Promptgröße vor dem Senden prüfen" description: "Zählen Sie die Eingabe-Tokens einer Messages-Anfrage, bevor Sie sie senden. Anthropic-kompatibler Endpunkt count_tokens auf inference.eu, Verarbeitung in der EU." canonical: "https://inference.eu/de/api/count-tokens/" language: "de" --- POST /v1/messages/count\_tokens # Count Tokens API: Promptgröße vor dem Senden messen Der Endpunkt zum Zählen von Tokens verrät Ihnen, wie viele Eingabe-Tokens eine Anfrage verbrauchen würde, ohne das Modell auszuführen. Er nimmt denselben Körper wie eine Messages-Anfrage entgegen und liefert eine einzige Zahl. So prüfen Sie, ob lange Dokumente ins Kontextfenster passen, teilen Arbeit in passende Pakete auf und schätzen Kosten vor einem großen Auftrag. [Vertrieb kontaktieren](https://inference.eu/de/kontakt/)[Beispielanfrage](#example) 1. 01API-Format: Anthropic Messages 2. 02Rechenzentren in der EU 3. 03Durch einen AV-Vertrag abgedeckt POST /v1/messages/count\_tokens ``` curl https://api.inference.eu/v1/messages/count_tokens \ -H "x-api-key: $INFERENCE_EU_API_KEY" \ -H "anthropic-version: 2023-06-01" \ -H "Content-Type: application/json" \ -d '{ "model": "gpt-oss-120b", "system": "You summarise supplier contracts for a procurement team.", "messages": [ {"role": "user", "content": "Summarise the termination and liability clauses in the contract below.\n\n..."} ] }' # {"input_tokens": 2147} ``` ## Was der Endpunkt leistet `POST /v1/messages/count_tokens` folgt dem Format der Anthropic-Tokenzählung. Sie senden `model`, `messages` und bei Bedarf `system` und `tools`. Die API tokenisiert alles genau wie bei einer echten Anfrage, mit dem Tokenizer des angegebenen Modells, und gibt `{"input_tokens": N}` zurück. Es wird nichts generiert, deshalb ist der Aufruf schnell und `max_tokens` entfällt. Die Zahl umfasst Systemprompt, alle Nachrichten, Werkzeugdefinitionen und die Formatierung, die das Chat-Template des Modells hinzufügt. Daher ist sie genauer, als Wörter zu zählen oder selbst einen allgemeinen Tokenizer zu verwenden. ## Warum der Tokenizer entscheidend ist Offene Modelle zerlegen Text unterschiedlich in Tokens. Derselbe Vertrag kann bei einem Modell spürbar mehr Tokens ergeben als bei einem anderen, vor allem bei deutschen oder französischen Texten, Code und Tabellen. Kontextfenster und tokenbasierte Abrechnung werden stets in den Tokens des jeweiligen Modells gemessen. Deshalb ist das Feld `model` Pflicht, und Sie sollten immer mit dem Modell zählen, das Sie tatsächlich aufrufen. Nach einem Modellwechsel zählen Sie neu. Eine Faustregel aus einem anderen Tokenizer kann so weit danebenliegen, dass ein langer Prompt das Limit überschreitet und die API die Anfrage mit 400 ablehnt. ## Ein bewährtes Muster für lange Dokumente Zählen Sie vor dem Senden eines langen Dokuments Systemprompt, Dokument und Frage gemeinsam. Passt die Summe zusammen mit der erwarteten Antwort ins Kontextfenster, senden Sie alles in einer Anfrage. Andernfalls teilen Sie das Dokument in passende Abschnitte, fassen jeden zusammen oder extrahieren daraus und führen die Ergebnisse in einem letzten Aufruf zusammen. Auch bei Batch-Aufträgen hilft die Prüfung. Zählen Sie eine Stichprobe der Eingaben, multiplizieren Sie mit der Zahl der Zeilen, und Sie kennen das Eingabevolumen, bevor Sie den Batch abschicken, statt es erst aus der Rechnung zu erfahren. ## Fehler und Sonderfälle Fehler folgen dem Anthropic-Format. Ein unbekanntes `model` ergibt `not_found_error` (404); fehlerhafte `messages`, etwa zwei aufeinanderfolgende `user`\-Beiträge, wo das Template des Modells das nicht erlaubt, ergeben `invalid_request_error` (400). Ein falscher Schlüssel führt zu 401. Gezählt wird nur die Eingabe. Ausgabe-Tokens, bei Reasoning-Modellen einschließlich des Nachdenkens, kommen bei der Generierung hinzu, planen Sie dafür Platz ein. Bilder werden nach den Regeln des Vision-Modells gezählt, die von der Auflösung abhängen. Die Zahlen beziehen sich auf Tokenizer und Template der aktuellen Modellversion; speichern Sie sie daher nicht versionsübergreifend. ## Count tokens Endpunkt POST /v1/messages/count\_tokens Kategorie Endpunkte API-Format Anthropic Messages Base URL api.inference.eu/v1 Verarbeitung Rechenzentren in der EU Training mit Ihren Daten Nie ## Count tokens: häufige Fragen Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt. Senden Sie den geplanten Anfragekörper ohne \`max\_tokens\` an \`POST /v1/messages/count\_tokens\`. Die Antwort enthält \`input\_tokens\`, also genau die Zahl, die das Modell lesen würde. Vergleichen Sie sie mit dem Kontextfenster des Modells und lassen Sie Platz für die Antwort, bevor Sie die eigentliche Anfrage senden. Ja. Pfad, Header, Anfragekörper und Antwort entsprechen dem Endpunkt von Anthropic, daher funktioniert die SDK-Methode \`messages.count\_tokens\`, sobald der Client auf inference.eu zeigt. Der Unterschied: Gezählt wird mit dem Tokenizer des offenen Modells, das Sie angeben. Beim Zählen läuft das Modell nicht und erzeugt keine Ausgabe. Wie Zählanfragen auf Ihrer Rechnung erscheinen, hängt von Ihrem Tarif ab und wird bei der Einrichtung mit Ihnen geklärt. Wie jede andere Anfrage können auch Zählanfragen Rate Limits unterliegen. Jede Modellfamilie hat einen eigenen Tokenizer und ein eigenes Chat-Template. Manche zerlegen deutsche Komposita oder Code in mehr Teile als andere, und Templates fügen unterschiedliche Steuer-Tokens um die Nachrichten ein. Zählen Sie daher immer mit dem Modell, das Sie verwenden, und nach einem Wechsel erneut. Ja. Namen, Beschreibungen und JSON-Schemas der Werkzeuge werden in den Prompt eingefügt und verbrauchen bei jeder Anfrage Eingabe-Tokens. Übergeben Sie Ihr Array \`tools\` auch beim Zählen, um eine realistische Zahl zu erhalten. Lange Beschreibungen bei vielen Werkzeugen summieren sich schnell. Der Endpunkt erwartet den Anthropic-Körper. Für OpenAI-Anfragen legen Sie den Systemprompt in \`system\` und den Rest in \`messages\`; die Zahl ist dieselbe, weil Modell und Tokenizer gleich sind. Nach einem echten Aufruf meldet das Objekt \`usage\` die genauen \`prompt\_tokens\`. Ja, wenn Sie Bildblöcke mitsenden und ein Vision-Modell angeben. Die Tokenzahl eines Bildes hängt von der Auflösung ab und davon, wie das Modell Bilder in Kacheln zerlegt. Große Bilder können deutlich mehr Tokens kosten als erwartet. Verkleinern Sie Bilder auf den Detailgrad, den die Aufgabe braucht. Nein. Inhalte zum Zählen werden in Rechenzentren in der EU tokenisiert, um die Zahl zu liefern, und für keinen anderen Zweck aufbewahrt. Sie werden nie zum Training von Modellen verwendet, wie alle anderen Anfragen an die inference.eu API. [Frage stellen](https://inference.eu/de/kontakt/) ## Verwandte Seiten [API-Überblick](https://inference.eu/de/api/) - [Messages (Anthropic format)Rufen Sie Open-Weight-Modelle im Anthropic-Messages-Format auf inference.eu auf. Kompatibel mit Anthropic-SDKs und Claude Code, Verarbeitung in der EU.Endpunkte](https://inference.eu/de/api/messages/) - [Prompt cachingVerwenden Sie den verarbeiteten Anfang eines Prompts mit automatischem Prompt-Caching erneut. Prompts für Cache-Treffer aufbauen und cached\_tokens auslesen.Anleitungen](https://inference.eu/de/api/prompt-caching/) - [BatchesFühren Sie Tausende Chat- oder Embedding-Anfragen als asynchronen Job aus. OpenAI-kompatible Batch-API mit JSONL-Upload, verarbeitet in der EU.Endpunkte](https://inference.eu/de/api/batches/) - [Rate limits and errorsSo funktionieren Rate Limits und Fehler bei der inference.eu API. HTTP-Statuscodes, das Fehlerobjekt, Rate-Limit-Header und ein belastbares Retry-Muster.Anleitungen](https://inference.eu/de/api/rate-limits-and-errors/) ## Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten. - Antwort innerhalb eines Werktags - Preise für Ihr Volumen - AV-Vertrag unterschriftsreif