Une partition est un fragment d'un DataFrame traité par une seule tâche sur un executor. Leur nombre détermine le niveau de parallélisme : trop peu laisse des cœurs inactifs, trop beaucoup crée des tâches minuscules et un surcoût d'ordonnancement. Leur taille et leur équilibre influencent fortement les performances.
Exemple
df.rdd.getNumPartitions()