Formation IA générative open-source avancée ComfyUI, vidéo, 3D et workflows

OBJECTIFS DE LA FORMATION

Cette formation IA générative est un perfectionnement de 5 jours sur ComfyUI, pour gérer / générer vidéo, mais aussi 3D et workflows VFX avancés.  

ComfyUI est l’outil de référence dans la création de contenu IA open-source avancé. Depuis quelques mois, de nouveaux outils de création vidéo (WAN, LTX etc…) permettent la création illimitée, gratuite et non censure de vidéo sur votre ordinateur personnel.

ComfyUI est également de plus en plus utilisé par des studios VFX qui s’en servent pour rotoscopie, keying, isolation d’éléments, mais également création avancée de passes pour le compositing, relighting…

ComfyUI peut également créer des modèles 3D à partir de prompts, d’images, pour ensuite les intégrer dans des workflows avancés, où l’on mêlera création d’images, de modèles 3D et de vidéos pour créer des séquences, avec un contrôle complet.

Enfin, ComfyUI permet l’accès par API à tous les grands modèles de création payants, tels que Kling, RunWay, ChatGPT-io pour enrichir l’arsenal créatif et permettre des mélanges et fusion dans une seule interface

 

Les principaux objectifs de cette formation avancée sont : 

• Maîtriser les bases de ComfyUI : installation, modules essentiels, compréhension des principes de “workflow”
• Créer des images fixes avec SDXL, Flux, HiDream, des modèles locaux
• Créer des images fixes avec les API, pour Flux Kontext, Flux Ultra, ChatGPT-IO, Veo
• Produire des vidéos avec des modèles locaux tels que LTX, WAN
• Maîtriser les contrôles avancés de création vidéo :
  • Transfert de style
  • Copie de mouvement par ControlNet
  • Faceswap
• Produire des passes de relighting : normales, profondeur, segmentation…
• Créer des vidéos par API, avec Kling, Runway, Veo
• Créer des modèle 3D par modèles locaux, avec Hunyan3D
• Gérer des Modèles 3D par API, avec Tripogen
• Mettre en places des workflows avancés de mélange de différentes techniques pour création de vidéo

 

FORMATEUR Lionel Vicidomini, graphiste, motion designer, expert en workflows et IA générative, formateur et créateur de nombreux tutos sur la 3D, l’intelligence artificielle, le motion design…

 

Présentation de l'outil

ComfyUI est la pierre angulaire de cette formation IA générative open-source avancée ComfyUI.

ComfyUI est une interface nodale qui permet d’utiliser un très grand nombre d’architectures IA et leurs modèles, ainsi que tous leurs différentes outils. ComfyUI est le premier choix de la communauté de développeurs et chercheurs en IA qui testent leurs modèles sur cette interface professionnelle et en perpétuelle évolution.

 

Open-source et gratuit, ComfyUI a été très largmement adoptée par la communauté de créateurs IA. Comme elle n’appartient à aucune société et que son développement est largement communautaire, ComfyUI est à la pointe de l’innovation.

Depuis quelques mois, ComfyUI s’est ouvert aux autres architectures d’ia génératives, fermées et commerciales, telles que ChatGPT Image, Google VEO, Recraft,… offrant ainsi un choix presque infini, regroupé sous une seule interface.

On commencera avec la création d’image fixe, qui reste souvent la première étape indispensable pour tout flux de travail.

SDXL, Flux, HiDream sont les modèles locaux qui sont utilisés et qui permettent une très grande liberté de création avec un maximum de contrôle.

Comme ce sont des modèles locaux, cela veut dire que leur utilisation est hors-ligne, illimitée, et gratuite (hors la consommation électrique de l’ordinateur).

Ces modèles donnent également un très grand contrôle créatif sur l’image : ajout d’élément ou changement de détail avec le inpaint, transfert ou application de style avec les IP-Adapter, contrôle de la pose ou de la structure de l’image avec les Control-Net

Pour aller encore plus loin on peut utiliser en plus tous les modèles fermés concurrentiels : on paye à l’unité, pour employer par exemple ChatGPT image, Flux Kontext ou Google Veo.

 

 

Avec ces images créées sur mesure on attaquera ensuite la création de vidéos avec des modèles locaux tels que LTX, très rapide à calculer, ou WAN, de très grande qualité mais un peu plus lent.

Ces modèles permettent un grand contrôle dans la vidéo, avec des outils similaires à ceux de la création d’image.

Là aussi, on peut préférer utiliser les modèles fermés concurrents tels que Kling, Runway, Veo etc…

Cette formation aborde également les outils de compositing avancé, que les studios d’effets spéciaux utilisent de plus en plus : création de normales pour le relighting, de passes de profondeur pour l’ajout de bokeh ou d’atmosphère.

 

Enfin la création de modèle 3D est également étudiée avec les modèles locaux ou en ligne, ce qui permet des mélanges intéressants : 

Création d’une image fixe, puis stylisation, pour ensuite générer certains éléments sous la forme de modèle 3D, pour créer d’autres générations d’images. Ensuite création de vidéo intégrant ces différents éléments pour contrôler l’aspect, la structure, et les éléments de la vidéo. Enfin, correction de ces vidéos grâce aux outils de post-production.

 

CONTENU COMPLET DE LA FORMATION

RAPPEL DES BASES DE COMFYUI

• • ControlNet
  • IpAdapter
  • Inpaint
  • Outpaint

 

 

GENERATION VIDEO AVEC COMFYUI  

• • Génération de morph avec Steerable Diffusion
  • Modèle LTX video pour la vitesse
    • Text2video
    • Img2video
    • Optimisations de vitesse : quantization, lora
  • Modèle Wan-Vace
    • Animer une image
    • Remplacer un sujet par un autre
    • Générer une vidéo selon le style d’une image
    • Etendre les bords d’une vidéo
  • Contrôle de mouvement de caméra avec Uni3C
    • En utilisant un node 3D pour créer une animation de caméra
  • Contrôle de mouvement de l’image avec ATI
  • Agrandir une vidéo

VIDEO AVANCEE

Manipulations avancées de vidéo avec ComfyUI

• • Créations et manipulations de normales depuis une vidéo avec NormalCrafter
    • Exemples d’applications dans Resolve
    • Comme source de ControlNet
  • Zdepth avec DepthCrafter
    • Exemples d’application dans Resolve
    • Comme source de ControlNet

 

LA 3D

Génération 3D avec ComfyUI

• • Hunyuan
    • Texte vers modèle 3D
    • image vers modèle 3D
    • Plusieurs images vers modèle 3D

 

LES API NODES IMAGES

Découverte et utilisation des API nodes images

• • Flux PRO et Flux Ultra
  • Flux Kontext
  • OpenAI
  • Recraft

 

LES API VIDEO

Découverte et utilisation des API vidéo

• • Kling
    • Text2video
    • Img2video
    • VideoEffects
  • Runway
    • First Last Frame
    • Img2video

 

WORKFLOW AVANCES

Workflows avancés mêlant plusieurs générateurs

• • Génération d’image fixe d’un personnage, d’un décor
  • Génération de modèle 3D
  • Placement du modèle 3D pour un compositing
  • Compositing avec une API vidéo ou local

 

CONDITIONS DE LA FORMATION

MOYENS TECHNIQUES

6 stagiaires maximum. 1 station Windows avec processeur et carte graphique puissants, 64 Go de RAM, écran 27 pouces. Tablette graphique.

PARTICIPANTS

Graphistes, truquistes, directeurs artistiques, artistes, réalisateurs.rices, technicien.ne.s, toute personne pratiquant déjà ComfyUI et voulant se perfectionner à ces outils de génération open source, en image, vidéo, 3D et VFX.

NIVEAU REQUIS

Grande aisance avec les outils informatiques. Pratique régulière de ComfyUI. Pratique d'IA génératives (Midjourney...). Idéalement, pratique d'un outil nodal (3D, VFX)...

ACCESSIBILITÉ

Nos formations sont accessibles et aménageables pour les personnes en situation de handicap. Fauteuils roulants autorisés en largeur maxi 70cm. Pour tout handicap, auditif, visuel ou autre, merci de nous contacter pour les aménagements possibles.

MODALITES D'ORGANISATION

Formation présentielle, en nos locaux, 13 rue Desargues, 75011 Paris.

MOYENS ET MODALITES PEDAGOGIQUES

Une salle de formation avec tableau blanc, un poste informatique pour chaque apprenant, un poste informatique vidéo-projeté pour les formateurs, avec accès internet et imprimante partagée. Alternance de séquences théoriques et d'exercices d'application réelle. Les exercices sont réalisés sous la supervision des formateurs, dans une logique d'apprentissage des compétences et d'autonomie progressive des apprenants. Des exercices plus longs et synthétiques permettent de reprendre un ensemble de compétences dans des cas pratiques types des métiers et compétences concernés, et s'assurer de leur acquisition par les apprenants.

SUPPORT DE COURS

1 mémo sur les outils avancés open source, ComfyUI...

SUIVI DE STAGE

Gratuit par email

RESP. PÉDAGOGIQUE

James Simon

FORMATEUR

Professionnel en activité, expert reconnu dans son domaine, animant régulièrement des formations.

LABELS QUALITÉS

Centre certifié Qualiopi (certification nationale) / certifié ISQ-OPQF / référencé Data-Dock / centre certifié Adobe / Maxon / Blackmagic Design / centre de test Certiport