La mémoire de travail est le contexte de la tâche en cours, transmis au modèle à chaque étape. La mémoire longue conserve des informations d'une session à l'autre dans un stockage externe, relues à la demande. Le contexte du modèle étant limité, il faut choisir ce qu'on garde.
Exemple
Mémoire longue : préférences de l'utilisateur lues dans une base au début de chaque session.