Driver, executors et cluster

Une application Spark repose sur un driver, qui exécute le programme principal et planifie le travail, et sur des executors, processus répartis sur les nœuds d'un cluster qui exécutent les tâches sur des partitions de données. Un gestionnaire de cluster (YARN, Kubernetes, mode autonome) alloue les ressources.

Notions voisines

Tout le glossaire