Entraîner efficacement des modèles d’IA avec PyTorch

Présentation du cours

Approche centrée sur l’entraînement efficace avec PyTorch : préparation des données et modèles avec Accelerator, entraînement distribué via Trainer, optimisations comme accumulation de gradients et gradient checkpointing, et usages d’AdamW.

Explique la préparation des modèles et des jeux de données avec AutoModel et Accelerator, le placement automatique des composants sur les appareils et le prétraitement d’images et d’audio pour l’entraînement.

Détaille l’entraînement distribué : réglage fin avec Trainer, définition des métriques d’évaluation, configuration des TrainingArguments et paramétrage du Trainer.

Présente des leviers d’efficacité comme l’accumulation de gradients (avec Accelerator et Trainer), le gradient checkpointing et des stratégies d’optimisation locales, puis l’application d’AdamW et le dimensionnement d’optimiseur.