La quantification réduit la précision numérique des poids d'un modèle (par exemple de 16 bits à 4 ou 8 bits) pour diminuer la mémoire et accélérer l'inférence. Elle entraîne une perte de qualité, souvent faible mais à vérifier sur la tâche visée.
Exemple
Un modèle quantifié en 4 bits occupe environ le quart de la mémoire de sa version en 16 bits.