Formation IA générative, image et animation, avec Stable Diffusion

OBJECTIFS DE LA FORMATION

Cette formation de 5 jours est une initiation avancée et intensive à Stable Diffusion, outil IA génératif et correctif d’images et animations. 

Stable Diffusion est l’outil IA génératif open source le plus puissant et flexible existant, et nécessite un apprentissage assez long.

En 5 jours on pourra parvenir à un bon niveau de compréhension et de maîtrise de Stable Diffusion, pour créer et transformer images fixes et animations :

• découvrir Stable Diffusion, ses principes,
• maîtriser la génération d’images avec une interface plus complexe, Automatic1111,
• développer des prompts sophistiqués,
• découvrir ComfyUI, interface nodale plus complexe,
• utiliser ControlNet et de nombreux outils complémentaires,
• comprendre l’animation d’images, l’animation vidéo avec Stable Video Diffusion et le module AnimateDiff.

La formation croisera prompts de textes imaginaires, références d’images réelles, stylisations, dessins et rendus non réalistes…

Objectifs de la formation :

• Installer et paramétrer Stability Matrix, Fooocus, Comfy, ControlNet.
• Générer des images avec Automatic1111
• Comprendre le système nodal sous ComfyUI pour générer des images
• Ecrire des prompts, de manière avancée
• Agrandir des images avec différentes méthodes
• Modifier, transformer une image
• Générer une image depuis un dessin
• Gérer des poses avec OpenPose
• Comprendre et utiliser Depth, Seg, Ipadapter, Style
• Gérer ControlNet de manière avancée
• Savoir utiliser Scribble, SoftEdge, Canny, Lineart, Depth, Seg, Ipadapter…
• Savoir gérer la stylisation
• Utiliser scripts et extensions : XYZ plot, Dynamic CFG, Dynamic Prompt
• Animer des images avec Stable Video
• Animer des images avec AnimateDiff

FORMATEUR  Lionel Vicidomini, motion designer, graphiste 3D, enseignant et formateur, créateur bien connu de nombreux tutos de référence (sur Blender, Cinema 4D, Stable Diffusion…)

Présentation de l'outil

Stable diffusion est un outil open source et gratuit qui permet de générer des images et animations à partir d’un texte descriptif (un modèle « text2image », comme par exemple les outils génératifs Dall-E ou MidJourney).

Stable Diffusion est actuellement le dernier outil encore Open Source… Contrairement à ses concurrents, Stable Diffusion est libre et gratuit. N’importe qui peut récupérer le code source de Stable Diffusion, le faire tourner en local sur son PC ou l’héberger sur un serveur web. Comme le code source est accessible, on peut modifier l’outil et l’adapter à ses besoins. Les concurrents MidJourney et Dall-E sont payants et ne peuvent pas fonctionner en local.

On étudiera Stable Diffusion sous différentes versions/interfaces, accompagné d’outils, scripts, complémentaires.

Fooocus est une interface utilisateur et aussi une plateforme complète pour créer des images sur son PC/Mac, idéale pour débuter avec Stable Diffusion.

Automatic1111 est une interface graphique permettant d’utiliser Stable Diffusion en local (sur son propre ordinateur sans avoir besoin d’internet) de façon très simple grâce à une interface qui facilite la génération d’images, et qui intègre des fonctionnalités supplémentaires. On peut notamment télécharger de nombreuses extensions afin d’ajouter des fonctionnalités.

ComfyUI est une interface nodale, plus complexe mais moins énergivore et nettement plus flexible pour générer des images. On construit des images en chaînant différents blocs (des nodes / nœuds)

ControlNet est un réseau de neurones qui contrôle la génération d’images dans Stable Diffusion en ajoutant des conditions supplémentaires, permettant par exemple de préciser des poses humaines, copier une composition d’une autre image, générer une image similaire,…

Stable Video Diffusion est un modèle de diffusion latente entraîné à générer de courts clips vidéo à partir d’un conditionnement d’image. Il se présente sous la forme de deux modèles image-to-video, SVD et SVD-XT : SVD qui génère 14 images par seconde à une résolution de 576 x 1024 avec une image contextuelle de la même taille tandis que SVD-XT porte le nombre d’images à 25. Tous deux peuvent générer des clips de 4 secondes avec un nombre de 3 à 30 images par seconde.

AnimateDiff est un module d’animation par prompt des images/modèles de Stable Diffusion pour produire des vidéos.

CONTENU COMPLET DE LA FORMATION

STABILITY MATRIX

Installation de Stability Matrix

Fooocus : première prise en main facile de Stable Diffusion.

Automatic1111 : pour une utilisation plus avancée.

COMFY UI

Pourquoi Comfy UI

Installation et configuration du manager

Nodes custom les plus fréquents

Découverte et prise en main de l’interface

Premières générations d’images

LE PROMPT

Comment écrire un prompt

Le checkpoint : utilisation de CivitAI pour découvrir et utiliser d’autres modèles

Concept du Token

Seed et Steps

Le Sampler

CFG

Emphase positive et négative

S’aider d’autres IA pour écrire des prompts

Récupérer un prompt depuis une image
Concaténation.
Combine.

Textual inversion
Installer des embeddings

AGRANDIR DES IMAGES

Upscaler
Latent space
High res fix
Ultimate Upscale
Combinaison de plusieurs méthodes

GENERATION DEPUIS UNE IMAGE OU UN DESSIN

Améliorer une image créée dans Txt2Image
Réparation de défauts avec Inpaint
Ajout de détails avec Sketch et Inpaint Sketch

Depuis une image externe
Ajout de détails
Changement de style
Agrandir une image
Loopback : itérer des créations depuis un croquis ou crayonnage

CONTROL NET

Qu’est-ce que ControlNet ?

OpenPose
Récupérer des poses de photos ou d’image
Récupérer des poses d’autres logiciels ou source
Créer sa pose ou la modifier avec l’openpose editor
Créer une pose depuis un autre logiciel

Scribble, SoftEdge, Canny et Lineart
Transformer un dessin en photo
Transformer une photo en dessin
Récupérer les expressions d’un visage

Depth
Récupérer un contour, une forme
Donner vie à un paysage

Seg
Changer un paysage
Changer un intérieur
Rajouter des détails
Contrôler totalement les images grâce aux masques

Ipadapter
Récupérer un personnage précis pour en faire des variations
Pour varier les angles de vue

Style
Appliquer le style d’une image sur une autre image
Créer des styles hybrides
Appliquer la palette chromatique d’une image sur une autre

Combiner plusieurs ControlNet
Pour des poses et expressions précises
Faire du photobashing

SCRIPTS ET EXTENSIONS A CONNAITRE  

XYZ Plot

Dynamic Prompt
Chercher l’inspiration avec Dynamic Prompt
Créer des itérations
Utilisation des Wildcards

DynamicCFG

ANIMER DES IMAGES  

En utilisant Stable Video

En utilisant AnimateDiff
Avec ControlNet

CONDITIONS DE LA FORMATION

MOYENS TECHNIQUES

6 stagiaires maximum. 1 station avec processeur et carte graphique puissants, 64 Go de RAM, écran 27 pouces. Tablette graphique.

PARTICIPANT.E.S

Graphistes, responsables communication, truquistes, photographes, artistes, réalisateurs.rices, DA, technicien.ne.s, toute personne ayant besoin de se former à la génération et transformation d'images et animations avec l'outil IA Stable Diffusion.

NIVEAU REQUIS

Bonne connaissance de l’informatique. Notions de graphisme (profondeur d’image, pixel, formats, ratios...). Culture artistique. Expérience avec des IA génératives (Midjourney, DallE...)

ACCESSIBILITÉ

Nos formations sont accessibles et aménageables pour les personnes en situation de handicap. Fauteuils roulants autorisés en largeur maxi 70cm. Pour tout handicap, auditif, visuel ou autre, merci de nous contacter pour les aménagements possibles.

MODALITES D'ORGANISATION

Formation présentielle, en nos locaux, 13 rue Desargues, 75011 Paris.

MOYENS ET MODALITES PEDAGOGIQUES

Une salle de formation avec tableau blanc, un poste informatique pour chaque apprenant, un poste informatique vidéo-projeté pour les formateurs, avec accès internet et imprimante partagée. Alternance de séquences théoriques et d'exercices d'application réelle. Les exercices sont réalisés sous la supervision des formateurs, dans une logique d'apprentissage des compétences et d'autonomie progressive des apprenants. Des exercices plus longs et synthétiques permettent de reprendre un ensemble de compétences dans des cas pratiques types des métiers et compétences concernés, et s'assurer de leur acquisition par les apprenants.

SUPPORT DE COURS

1 mémo sur Stable Diffusion.

SUIVI DE STAGE

Gratuit par email

RESP. PÉDAGOGIQUE

James Simon

FORMATEUR.TRICE

Professionnel en activité, expert reconnu dans son domaine, animant régulièrement des formations.

LABELS QUALITÉS

Centre certifié Qualiopi (certification nationale) / certifié ISQ-OPQF / référencé Data-Dock / centre certifié Adobe / Maxon / Blackmagic Design / centre de test Certiport