Présentation de la formation
Programme avancé pour instrumenter et surveiller systèmes IA : traces, tokens, coûts, latence, qualité des réponses, incidents et SLOs pour améliorer fiabilité et observabilité des applications LLM.
Pose les fondations du LLMOps : métriques pertinentes (tokens, latence, coût), architecture de collecte et intégration avec pipelines ML/infra.
Présente le tracing des workflows IA : corrélation des requêtes, enchaînements multi‑modèle, attribution de coûts et reconstruction d’exécutions pour analyse post‑mortem.
Explique la surveillance de la qualité : métriques automatisées, échantillonnage humain, détections de dérive et tableaux de bord pour suivre dégradation et biais.
Aborde la gestion opérationnelle et incidents : alerting, playbooks, post‑mortem, et définition/mesure des SLOs appliqués aux services LLM.
Formation · Advanced
Cours inclus dans cette formation
LLMOps Foundations
Bases de LLMOps et observabilité : distinguer MLOps, LLMOps et observabilité applicative, cartographier le cycle de vie AI (prompt, retrieval, outils, modèle, sortie, feedback) et définir SLOs sur qualité, latence, coût et sécurité en s'appuyant sur logs, traces et métriques.
4 leçons · 20 activités · 0 exercices · 3 vidéos
Tracing AI Workflows
Traçage des workflows AI : instrumenter les appels modèle (provider, modèle, tokens, latence), suivre les étapes RAG (récupération, reranking), capturer les appels d'outils et boucles d'agent, et appliquer la redaction pour préserver la confidentialité dans les traces.
4 leçons · 24 activités · 12 exercices · 3 vidéos
Quality Monitoring
Surveillance de la qualité : stratégies d'évaluation online/offline, suivi des prompts et versions, workflows de collecte/annotation de feedback, et mises en place de portes de régression avant déploiement pour prévenir détériorations de performance.
4 leçons · 20 activités · 0 exercices · 3 vidéos
Operations and Incidents
Gestion des incidents et opérations pour systèmes LLM : ce module couvre la surveillance des coûts tokens et latences, les plans de repli en cas de panne de fournisseur, le triage des incidents de sécurité et la conduite de postmortems pour améliorer la fiabilité des systèmes IA en production.
4 leçons · 24 activités · 12 exercices · 3 vidéos
Accéder à la plateforme
Accédez au catalogue pour consulter le détail des cours, les conditions d’accès et votre progression personnelle. Se connecter.