Count Tokens API: Promptgröße vor dem Senden messen

POST /v1/messages/count_tokens folgt dem Format der Anthropic-Tokenzählung. Sie senden model, messages und bei Bedarf system und tools. Die API tokenisiert alles genau wie bei einer echten Anfrage, mit dem Tokenizer des angegebenen Modells, und gibt {"input_tokens": N} zurück.

Es wird nichts generiert, deshalb ist der Aufruf schnell und max_tokens entfällt. Die Zahl umfasst Systemprompt, alle Nachrichten, Werkzeugdefinitionen und die Formatierung, die das Chat-Template des Modells hinzufügt. Daher ist sie genauer, als Wörter zu zählen oder selbst einen allgemeinen Tokenizer zu verwenden.

Offene Modelle zerlegen Text unterschiedlich in Tokens. Derselbe Vertrag kann bei einem Modell spürbar mehr Tokens ergeben als bei einem anderen, vor allem bei deutschen oder französischen Texten, Code und Tabellen. Kontextfenster und tokenbasierte Abrechnung werden stets in den Tokens des jeweiligen Modells gemessen.

Deshalb ist das Feld model Pflicht, und Sie sollten immer mit dem Modell zählen, das Sie tatsächlich aufrufen. Nach einem Modellwechsel zählen Sie neu. Eine Faustregel aus einem anderen Tokenizer kann so weit danebenliegen, dass ein langer Prompt das Limit überschreitet und die API die Anfrage mit 400 ablehnt.

Zählen Sie vor dem Senden eines langen Dokuments Systemprompt, Dokument und Frage gemeinsam. Passt die Summe zusammen mit der erwarteten Antwort ins Kontextfenster, senden Sie alles in einer Anfrage. Andernfalls teilen Sie das Dokument in passende Abschnitte, fassen jeden zusammen oder extrahieren daraus und führen die Ergebnisse in einem letzten Aufruf zusammen.

Auch bei Batch-Aufträgen hilft die Prüfung. Zählen Sie eine Stichprobe der Eingaben, multiplizieren Sie mit der Zahl der Zeilen, und Sie kennen das Eingabevolumen, bevor Sie den Batch abschicken, statt es erst aus der Rechnung zu erfahren.

Fehler folgen dem Anthropic-Format. Ein unbekanntes model ergibt not_found_error (404); fehlerhafte messages, etwa zwei aufeinanderfolgende user-Beiträge, wo das Template des Modells das nicht erlaubt, ergeben invalid_request_error (400). Ein falscher Schlüssel führt zu 401.

Gezählt wird nur die Eingabe. Ausgabe-Tokens, bei Reasoning-Modellen einschließlich des Nachdenkens, kommen bei der Generierung hinzu, planen Sie dafür Platz ein. Bilder werden nach den Regeln des Vision-Modells gezählt, die von der Auflösung abhängen. Die Zahlen beziehen sich auf Tokenizer und Template der aktuellen Modellversion; speichern Sie sie daher nicht versionsübergreifend.