Le cache d'attention (KV cache) stocke les clés et valeurs déjà calculées pour les tokens précédents, afin de ne pas les recalculer à chaque nouveau token. Il accélère la génération, mais occupe une mémoire qui croît avec la longueur du contexte et le nombre de requêtes simultanées.
Exemple
Doubler la longueur du contexte fait à peu près doubler la mémoire utilisée par le KV cache.