Assets et planification par les données

Un asset (anciennement dataset) représente une donnée logique, identifiée par une URI, qu'un DAG produit ou consomme. Un DAG peut être planifié sur la mise à jour d'un ou plusieurs assets plutôt que sur l'horloge : il se déclenche dès que ses données d'entrée sont prêtes, ce qui relie explicitement les pipelines entre eux.

Exemple

Asset('s3://lac/ventes.parquet')  # produit par un DAG, déclenche les DAG consommateurs

Notions voisines

Tout le glossaire