Fondamentaux des grands modèles de langage

Présentation du cours

Fondamentaux des LLM et écosystème : concepts NLP/Transformers, tokenizers, pipelines, fine‑tuning, datasets, Hub, Gradio/Argilla, méthodes d'entraînement, évaluation et RL appliqué aux LLM. Couvre aussi debug et partage de modèles.

Introduit les bases du NLP et des Transformers, leur fonctionnement et comment ces architectures résolvent des tâches via des pipelines.

Explique tokenizers, gestion de séquences, traitement des données, boucles d'entraînement, fine‑tuning (Trainer API, SFTTrainer, LoRA) et compréhension des courbes d'apprentissage.

Présente l'utilisation du Hub pour modèles et datasets, la création/annotation de jeux de données, débogage des pipelines, Gradio pour démos et notions avancées de RL appliqué aux LLM.