Entrepôt, lac de données et lakehouse

Une application enregistre des commandes, un CRM des contacts, un outil marketing des campagnes. Pour répondre à « quel canal rapporte le plus de clients fidèles ? », il faut réunir ces données au même endroit, les historiser et les rendre faciles à interroger, sans ralentir les bases de production. C’est le rôle de la plateforme de données analytique. Ce cours vous apprend à la modéliser ; cette première leçon pose le vocabulaire.

L’entrepôt de données

Un entrepôt de données (data warehouse) est une base conçue pour l’analyse. Les données y sont structurées (tables et colonnes typées), intégrées (un client a le même identifiant quelle que soit la source), historisées (on garde les états passés) et organisées pour des requêtes d’agrégation sur de gros volumes. Exemples de produits : BigQuery, Snowflake, Amazon Redshift, Azure Synapse, ou PostgreSQL pour des volumes modestes. La plupart stockent les données en colonnes : une requête qui lit trois colonnes d’une table de cinquante ne lit que ces trois colonnes.

Le schéma y est appliqué à l’écriture (schema on write) : une donnée qui ne respecte pas le type attendu est refusée au chargement.

Le lac de données

Un lac de données (data lake) est un stockage de fichiers à faible coût, souvent un stockage objet (Amazon S3, Azure Data Lake Storage, Google Cloud Storage). On y dépose tout, tel quel : exports CSV, événements JSON, fichiers Parquet, images, journaux. Le schéma est appliqué à la lecture (schema on read) : c’est le moteur de requête (Spark, Trino, etc.) qui interprète les fichiers.

Avantage : on garde tout, à bas coût, y compris ce dont on ne connaît pas encore l’usage. Risque : sans catalogue ni règles, le lac devient un « marécage » où personne ne sait quels fichiers sont fiables.

Le lakehouse

Le lakehouse combine les deux : les données restent dans des fichiers ouverts (souvent Parquet) sur un stockage objet, mais un format de table (Delta Lake, Apache Iceberg, Apache Hudi) ajoute par-dessus ce qui manquait au lac : transactions, schéma contrôlé, mises à jour et suppressions de lignes, historique des versions. Plusieurs moteurs peuvent lire les mêmes tables.

	Entrepôt	Lac	Lakehouse
Données	structurées	tout format	structurées et semi-structurées
Schéma	à l’écriture	à la lecture	contrôlé par le format de table
Interrogation	SQL	moteurs variés	SQL et moteurs variés

Le choix dépend des volumes, des usages (rapports, science des données) et des compétences de l’équipe ; la modélisation que vous allez apprendre est la même dans les trois cas.

ETL ou ELT

Historiquement, on extrayait, transformait sur un serveur dédié, puis chargeait le résultat (ETL). Avec des entrepôts puissants et facturés à l’usage, on fait plutôt de l’ELT : on charge d’abord les données brutes, puis on les transforme dans l’entrepôt, en SQL. Des outils comme dbt (cours DE2) organisent ces transformations.

L’architecture en couches

Les transformations sont rangées en couches successives. Les noms varient selon les équipes :

1. Brute (bronze, raw) : copie fidèle des sources, horodatée, jamais modifiée. On peut toujours tout recalculer à partir d’elle.
2. Nettoyée (silver, staging) : types corrects, noms de colonnes harmonisés, valeurs normalisées, doublons de chargement supprimés. Une table par source, sans logique métier.
3. Métier (gold, marts) : modèles prêts à l’analyse, typiquement des schémas en étoile, avec les règles de gestion (« une commande annulée ne compte pas dans le chiffre d’affaires »).

Voici une transformation typique de la couche brute vers la couche nettoyée. La source est chargée plusieurs fois par jour : une même commande peut apparaître dans deux chargements ; on garde la version la plus récente.

WITH classees AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY id ORDER BY _loaded_at DESC) AS rang
    FROM raw_commandes
)
SELECT CAST(id AS INTEGER)       AS commande_id,
       lower(trim(client))       AS client,
       CAST(montant AS REAL)     AS montant,
       upper(devise)             AS devise
FROM classees
WHERE rang = 1;

Remarquez que la couche nettoyée ne filtre pas les lignes incomplètes (un montant absent reste NULL) : elle les rend visibles. Décider qu’une commande sans montant est exclue d’un indicateur est une règle métier, qui appartient à la couche suivante.