Idempotence

Une tâche idempotente produit le même résultat qu'elle soit exécutée une ou plusieurs fois pour un même intervalle. C'est une propriété indispensable avec les reprises et les backfills : on remplace ou fusionne les données de l'intervalle (écraser une partition, MERGE) plutôt que de simplement les ajouter, pour éviter les doublons.

Exemple

DELETE FROM ventes WHERE jour = '{{ ds }}';
INSERT INTO ventes SELECT * FROM brut WHERE jour = '{{ ds }}';

Notions voisines

Tout le glossaire