Diffuser les réponses d'un LLM en streaming avec les server-sent events

Passez stream à true dans la requête. L'API garde la connexion HTTP ouverte et envoie des server-sent events : des lignes qui commencent par data: suivies d'un objet JSON. Pour chat completions, chaque objet est un chat.completion.chunk dont choices[0].delta contient le nouveau morceau de texte dans content. Le flux se termine par la ligne data: [DONE].

Les SDK officiels se chargent de l'analyse. En Python, vous itérez sur le flux renvoyé ; en JavaScript, vous utilisez for await. Si vous appelez l'API avec votre propre client HTTP, lisez le corps ligne par ligne, ignorez les lignes vides et les commentaires, et analysez chaque charge data: comme du JSON.

Par défaut, les fragments diffusés n'incluent pas la consommation de tokens. Ajoutez stream_options: {"include_usage": true} : le dernier fragment avant [DONE] contient alors un objet usage et un tableau choices vide, d'où la vérification de chunk.choices dans l'exemple.

Le fragment qui clôt la réponse porte un finish_reason, comme stop ou length. Les appels d'outils sont aussi diffusés : delta.tool_calls arrive par morceaux, le nom de la fonction d'abord, puis les arguments JSON répartis sur plusieurs fragments. Concaténez les chaînes d'arguments par index et ne les analysez que lorsque finish_reason vaut tool_calls. Les modèles de raisonnement peuvent diffuser leur réflexion dans un champ distinct avant la réponse.

L'API Responses diffuse des événements typés plutôt que des fragments. Le texte arrive dans des événements response.output_text.delta, les appels d'outils et autres éléments de sortie ont leurs propres événements, et response.completed transporte l'objet de réponse final avec la consommation. Écoutez les types utiles et ignorez les autres.

Le point de terminaison Messages suit la séquence d'Anthropic : message_start, puis content_block_start, une série d'événements content_block_delta avec text_delta ou input_json_delta, content_block_stop, un message_delta avec stop_reason et la consommation, et enfin message_stop. Les SDK Anthropic proposent des aides comme text_stream qui ne renvoient que le texte.

Les erreurs survenues avant le début de la génération, comme une clé invalide ou un modèle inconnu, renvoient une erreur HTTP classique, sans flux. Une erreur pendant la génération arrive sous forme d'événement d'erreur dans le flux, puis la connexion se ferme ; votre boucle doit la traiter et décider d'une éventuelle reprise.

Proxys et répartiteurs de charge mettent parfois les réponses en mémoire tampon, transformant le flux en un bloc de texte tardif. Désactivez ce tampon pour ces routes, par exemple avec X-Accel-Buffering: no sous nginx, et prévoyez des délais d'inactivité plus longs que les pauses entre tokens des modèles de raisonnement. Si l'utilisateur ferme la page, annulez la requête.