Le débit mesure la quantité traitée par unité de temps, par exemple des tokens générés par seconde sur l'ensemble des requêtes. La latence mesure le temps d'une requête. Regrouper des requêtes augmente le débit global mais peut allonger la latence de chacune.
Exemple
Un serveur produit 400 tokens/s au total, répartis entre 8 requêtes simultanées.