Le streaming de réponses renvoie la sortie d'un modèle au fur et à mesure de sa génération, par petits morceaux, au lieu d'attendre la réponse complète. Il réduit le délai perçu avant le premier texte affiché, mais complique la gestion des erreurs et de la validation.
Exemple
Le texte d'un assistant s'affiche mot à mot pendant que le modèle le génère.