Traitement du langage et LLM : du TF-IDF au RAG
Traitement du langage (NLP) et LLM est un cours de niveau avancé de 6 leçons (environ 4 h 21), avec 19 exercices et 18 questions de quiz. Prérequis : Deep learning avec PyTorch. Le cours demande un environnement de projet complet, prévu dans une phase ultérieure de la plateforme.
- Data science
- Avancé
- 6 leçons
- 4 h 21
- 19 exercices
- Environnement de projet complet (phase 2)
Le cours en bref
Ce cours couvre le traitement automatique du langage, des représentations classiques aux grands modèles de langage. Vous construirez des classifieurs de textes, une recherche sémantique et un système RAG sourcé, comprendrez l'attention et les paramètres de génération, puis adapterez un modèle par LoRA en mesurant objectivement le gain.
Ce que tu sauras faire
- Prétraiter et tokeniser du texte, et expliquer la tokenisation en sous-mots (BPE)
- Construire un classifieur de textes TF-IDF interprétable avec scikit-learn
- Mettre en place une recherche sémantique avec des embeddings et la similarité cosinus
- Expliquer l'attention et utiliser un LLM avec messages, température et sorties structurées
- Concevoir, implémenter et évaluer un système RAG avec citations
- Choisir entre prompting, RAG et fine-tuning, et affiner un modèle avec LoRA
Programme des 6 leçons
- Normaliser un texte (casse, accents, espaces) en connaissant les compromis
- Découper un texte en tokens par mots puis en sous-mots
- Comprendre le principe de l'algorithme BPE utilisé par les LLM
- 02
Sac de mots, TF-IDF et classification de textes
- Représenter des documents par un sac de mots et par TF-IDF
- Construire un pipeline de classification de textes avec scikit-learn
- Interpréter les mots les plus discriminants d'un modèle linéaire
- 03
Embeddings et recherche sémantique
- Expliquer ce qu'est un embedding et pourquoi il capture le sens
- Calculer une similarité cosinus et rechercher les documents les plus proches
- Utiliser un modèle d'embeddings de phrases et une base vectorielle
- 04
Transformers, attention et grands modèles de langage
- Expliquer le mécanisme d'attention et le masque causal
- Distinguer encodeurs (BERT) et décodeurs (GPT) et leurs usages
- Utiliser un LLM : messages, paramètres de génération, sorties structurées
AttentionArchitecture TransformerGrand modèle de langageDécodage (température, top-p)
- 05
RAG : génération augmentée par la recherche
- Décrire l'architecture d'un système RAG de bout en bout
- Découper des documents en chunks et construire un index de recherche
- Assembler un prompt sourcé et évaluer la recherche et les réponses
Retrieval-Augmented GenerationDécoupage en chunksÉvaluation d'un RAG
- 06
Adapter un modèle : fine-tuning léger (LoRA) et évaluation
- Choisir entre prompting, RAG et fine-tuning selon le besoin
- Comprendre LoRA et QLoRA et estimer le nombre de paramètres entraînés
- Évaluer un modèle génératif avec des métriques et un protocole adaptés
Projet final
Assistant documentaire RAG évalué sur une base de connaissances
Construisez un assistant qui répond aux questions sur un ensemble de documents (FAQ, conditions générales, documentation produit d'une vingtaine de pages, ou documents publics de votre choix). Il doit citer ses sources, dire « je ne sais pas » quand l'information manque, et être évalué de façon chiffrée.
Livrables
- Un pipeline d'indexation : extraction, découpage avec chevauchement, embeddings et index vectoriel
- Une fonction de réponse : recherche (dense ou hybride), construction du prompt et génération avec un LLM ouvert ou une API
- Un jeu d'évaluation d'au moins 30 questions avec passages pertinents et réponses de référence
- Un rapport comparant au moins deux configurations (taille de chunk, TF-IDF vs embeddings, avec ou sans reranker) en rappel@k, MRR et F1
- Une baseline de classification TF-IDF ou une analyse des questions sans réponse, et une section sur les risques (hallucination, injection de prompt, données personnelles)
Critères d'évaluation
- Qualité de la recherche mesurée (rappel@k, MRR) et justifiée
- Réponses fidèles aux sources, avec citations et gestion du « je ne sais pas »
- Protocole d'évaluation séparant recherche et génération
- Pertinence des choix techniques (chunking, modèle d'embeddings, paramètres de génération)
- Prise en compte de la sécurité et de la confidentialité
Questions fréquentes
Faut-il savoir faire du deep learning pour suivre ce cours NLP et LLM ?
Oui, les bases de PyTorch (tenseurs, réseaux, boucle d'entraînement) sont recommandées : le cours DS7 en est le prérequis. Les premières leçons restent accessibles avec scikit-learn.
Qu'est-ce que le RAG et pourquoi l'utiliser ?
Le RAG (génération augmentée par la recherche) fournit au LLM des passages issus de vos documents avant qu'il réponde. Il permet des réponses à jour, sourcées et vérifiables, sans réentraîner le modèle.
Faut-il un GPU pour faire du fine-tuning LoRA ?
Un GPU est fortement conseillé. LoRA et QLoRA réduisent beaucoup les besoins, et un petit modèle de 0,5 milliard de paramètres peut être affiné à petite échelle sur CPU pour apprendre la méthode.
Le cours utilise-t-il des API payantes de LLM ?
Non, les exercices utilisent des bibliothèques open source et de petits modèles ouverts. Les principes (messages, température, sorties structurées) s'appliquent de la même façon aux API commerciales.
Ce cours, raconté pour ton métier
Dis ce que tu veux savoir faire : « Traitement du langage (NLP) et LLM » prend sa place dans ton parcours, avec des exemples de ton secteur. Les notions restent celles du cours.