Déséquilibre et salage

Le déséquilibre de données (skew) apparaît quand une clé concentre une grande part des lignes : une partition devient bien plus lourde que les autres et ralentit tout le stage. Le salage atténue le problème en ajoutant à la clé un suffixe aléatoire pour répartir la charge, puis en recombinant les résultats partiels.

Exemple

df.withColumn('cle_salee', F.concat('cle', F.lit('_'), (F.rand() * 10).cast('int')))

Notions voisines

Tout le glossaire