Fondamentaux des grands modèles de langage

Présentation de la formation

Exploration des fondamentaux des grands modèles de langage : architecture Transformer, tokenisation, préparation de jeux de données et workflows d’entraînement. Approche technique axée sur la compréhension des composants et des étapes d’entraînement.

Architecture Transformer : mécanismes d’attention, couches de feed-forward et principes d’optimisation.

Tokenizers et représentation des séquences : méthodes de découpage, encodage et gestion des limites de contexte.

Jeux de données : collecte, nettoyage, échantillonnage et préparation pour entraînement supervisé ou par étapes.

Workflows d’entraînement : pipelines de fine-tuning, évaluation, gestion des hyperparamètres et surveillance d’entraînement.

Formation · Intermédiaire