Concevoir des modèles multimodaux

Présentation du cours

Concevez des modèles multimodaux en exploitant les modèles et datasets disponibles, les prétraitements pour chaque modalité et des approches pour classification, VQA et retouche d’images. Le module inclut vision, audio, texte et génération multimodale.

Accéder aux ressources : navigation des modèles et jeux de données, repérage des modèles texte‑vers‑image et préparation des données multimodales.

Modèles unimodaux : techniques pour vision, audio et texte, incluant classification d’images, détection d’objets et suppression d’arrière‑plan.

Modèles multimodaux pour la classification : méthodes zero‑shot (CLIP), évaluation automatique de légendes et analyse de sentiment multimodale.

Génération multimodale : Visual Question Answering (VQA) avec ViLT et LayoutLM, et retouche d’images via modèles de diffusion.