L’intelligence artificielle (« IA » ou « AI » en anglais) fait beaucoup parler d’elle :
- grand remplacement des auteurs et salariés,
- spoliation des droits (des créations analysées / ré-utilisées),
- capacité à écrire et traduire mieux que de nombreuses personnes fatiguées d’écrire ou de disserter (ChatGPT),
- création à la demande d’images imaginaires ou faussement réelles, très spectaculaires…
Les outils d’IA ne cessent de progresser.
Et, si en graphisme ils peuvent désormais être utilisés (cf notre dossier IA & graphisme), en vidéo cela reste en développement, mais avec de beaux outils « évolutionnaires », préparant à une révolution annoncée, voulue ou crainte…
Verrons-nous bientôt advenir la création de films par de simples commandes textuelles (« prompts ») ?
En mise en bouche, vous prendrez bien quelques chats ?
C’est « mignon »… hein ?
Il y a pire ! Par exemple la première pub Coca Cola, absurde et délirante, co-générée par outils IA, un peu vaseux en terme de qualité technique, fluidité, précision… quant à son sens formel/profond, à part l’euphorie de boire du Coca et de faire générer des images délirantes, cela ressemble à un timbre poste du 19ème siècle, agrandi 1000 fois (mais si !).
Ces vidéos générées (dégénérées ?) sont à voir plus bas dans ce dossier, dans la section des applications nouvelles, révolutionnaires (sans guillemets ?)
Quelles IA « évolutionnaires » dans nos outils actuels ? Davinci Resolve, Premiere Pro…
Adobe Premiere Pro dopée par Sensei et désormais Firefly
Adobe intègre peu à peu dans Premiere Pro ses technologies IA Sensei et Firefly :
- Transcription des audio (dialogues), générant automatiquement des sous-titres, que l’on peut ensuite régler, scinder… une fonctionnalité incroyable, performante… on attend avec impatience la possibilité de la traduction : cela permettrait de générer (gratuitement !) des sous-titres pour des versions étrangères… [les traducteurs et sociétés de sous-titrage « apprécieront » la quasi disparition de la nécessité de leur activité]
- Montage basé sur le texte : on peut ainsi monter des plans en sélectionnant par phrases, mots…
- Outil de remixage audio : redécoupe/mixe une bande son (une musique) en l’adaptant au timing désiré !
- Couleur automatique et Correspondance automatique : fonctionnalité d’étalonnage de plans à harmoniser
L’outil IA en développement chez Adobe s’appelle Firefly et Adobe intègre peu à peu ses fonctionnalités dans les outils Adobe CC, dont voici quelques développements démontrés et prochainement inclus dans Premiere Pro :
- Outil IA génératif : demander par commande textuelle (« prompt ») de donner un style chromatique à une image
- Génération de musiques et d’effets sonores
- Animation de textes et logos
- Création de storyboards à partir de textes
- …et cela ne fait que commencer !
Vous voulez entendre le responsable du développement de Adobe Firefly ? John Nack présente Firefly !
Davinci Resolve et l’IA…
Davinci Resolve 18.5 (ça a commencé « en 18 » !) propose des aides puissantes basées sur leur IA dénommée Neural Engine :
- Auto transcription audio vers texte, en 14 langues : cette fonctionnalité permet ensuite de monter par segments de phrases, mots… c’est super, mais on attend le sous-titrage proposé par Premiere Pro ! 😉
- Isolation vocale basée sur l’IA : cela supprime des sons parasites, isole la voix, la valorise…
- Masquage des objets par tracking automatique (des milliers d’objets reconnus)
- « Masque Personne » : détecte les personnes, tracke leur mouvement, crée ainsi un masque mobile
- Recadrage intelligent pour des versions verticales, carrés…
- SuperScale : crée des détails lors de forts zooms
- SpeedWarp
- Bibliothèque OpenFX de stylisations adaptées au contenu (analysé) des plans
- Retouche beauté : utilise la reconnaissance faciale pour cibler les visages
- Remplacement de la zone & Suppression des objets
On notera que hors montage, les outils basés sur l’IA sont des concentrés « intelligents » de plusieurs tâches agencées habituellement faites par l’opérateur : masquer-tracker-corriger le masque-faire son effet localisé… De plus en plus de tâches répétitives vont être court-circuitées, avec plus ou moins de bonheur (et de réglages fins pour personnaliser, adapter…) pour laisser la place à la créativité / ou à travailler plus vite et moins longtemps encore… si vous voyez ce que je veux dire.
Topaz Labs Video AI : votre fidèle upscaler…
Pour 299 USD (quand même !), cette application permet de nettoyer, agrandir, fluidifier des vidéos d’aspect médiocre : passer du SD au 4K, fluidifier et augmenter la cadence, créer du détail ! Un outil exceptionnel.
Outils vidéo génératifs IA : la révolution pour… demain !
En vidéo, peu d’outils existent pour le moment et ils sont assez embryonnaires. Nous en avons sélectionné un, un seul, Runway Gen… le seul intéressant, concret, un peu complet…
Runway Gen 1, et désormais Runway Gen2
Runway est une suite proposant de nombreux outils de transformation, et quelques outils de génération d’images et vidéos… Sa version toute nouvelle version Gen2 apporte plus de finesse, d’outils et de puissance…
Outils de transformation de vidéos :
- frame interpolation
- effacer un arrière plan, effacer un personnage ou un objet
- tracking
- ajouter de la profondeur de champ, flouter des visages
- nettoyer une bande audio, enlever du silence,
- transcrire une vidéo en texte…
- et générer des sous-titres
Outils de transformation d’images :
- agrandir le décor
- zoomer
- effacer, remplacer un objet
- faire des variations de style sur une image
- coloriser
Outils génératifs de vidéos :
- styliser une vidéo « réelle » en lui donnant un style DA, pâte à modeler…
- fabriquer un film à partir d’une commande textuelle
Outils génératifs d’images :
- commander une image par demande textuelle
- transformer une image par rapport à une image
- …
Et même un zeste de 3D : commander une texture 3D par texte
Et à part la vidéo ?
Adobe Podcast
Pour le moment encore en phase beta, Adobe Podcast est un outil online pour (énormément) améliorer la qualité (faible) d’une voix enregistrée… et aider à créer des podcasts. Preview ici.
Eleven : génération de voix off adaptative !
Ils appellent cela du voice design…
Cela fera peur à de nombreuses personnes, tellement ses capacités promises sont impressionnantes : générer la voix off d’une personne ou d’une autre, doubler un personnage à l’écran en synchronisant la prononciation sur les lèvres filmées de ce personnage… Encore à l’état de développement, Eleven Multilingual v1 commence à fonctionner, en plusieurs langues…
D’autres outils de création de voix impressionnants sont en développement : Murf, Synthesys…
Sonicfire Pro 6 : création de musique sur mesure
La version 6 de cet assistant créateur de musique « au mètre » utilise l’IA pour adapter sur mesure des éléments musicaux choisis parmi ses milliers de possibilités (dont les droits sont payés). 199 USD !
Pour créer des musiques sur mesure, de nombreux autres outils existent : AIVA, Soundraw,…
Combiner outils génératifs de texte et d’image ?
On peut demander à chatGPT d’écrire un prompt pour produire une image… cela semble délirant, mais cela peut être utile dans certaines situations.
Et la 3D ?
- Move.ai : motion capture à partir de caméra normale
- Luma AI : création de 3D à partir de commandes textuelles
- et bien d’autres…
Et encore ?
On peut imaginer le nombre de moyens pour aider les développeurs et scripteurs (Python, C++, Java, Javascript…) pour créer outils ou des automatismes dans nos outils VFX ou 3D, ou des sites web. A ceci près qu’il faudra toujours maîtriser au minimum la syntaxe de ces langages, pour pouvoir vérifier, corriger. Double compétence requise !
There’s an AI for that : pour chercher des infos sur les innombrables outils IA…
Have I Been Trained ? pour savoir si vos images ont été utilisées par des IA…
