Présentation du cours
Présentation du serving avec vLLM : architectures de serving, compatibilité OpenAI-style, optimisation par batching et cache KV, et stratégies d’autoscaling et routage pour la production.
Comparaison des patterns d’architecture de serving : inference centralisée, microservices et edge serving selon besoins de latence et coût.
Principes de vLLM et mise en place d’endpoints compatibles OpenAI pour intégrer facilement des clients existants.
Techniques pour améliorer débit et latence : batching, cache clé-valeur et autres optimisations runtime.
Conception du stack de production : routage des requêtes, politiques d’autoscaling et considérations d’intégration.
Compétences et thèmes abordés
Accéder à la plateforme
Accédez au catalogue pour consulter le détail des cours, les conditions d’accès et votre progression personnelle. Se connecter.