FRIDA, un robot IA, peut peindre. Mais est-ce que cela fait de l’art ?

Aug 14, 2023

Publicité

Supporté par

esprit

Des chercheurs de l’Université Carnegie Mellon ont développé un bras alimenté par l’IA capable de peindre une peinture acrylique abstraite. Est-ce de l'art ?

Par Oliver Whang

Pour plus de journalisme audio et de narration, téléchargez New York Times Audio, une nouvelle application iOS disponible pour les abonnés aux actualités.

Un jour récemment, sur une table du laboratoire de Jean Oh dans le quartier de Squirrel Hill à Pittsburgh, un bras robot s'affairait sur une toile. Lentement, comme si l'air était visqueux, il trempa un pinceau dans une flaque de peinture gris clair sur une palette, se retourna et caressa la toile, laissant une marque d'un pouce de long au milieu d'un groupe d'autres coups de pinceau. Puis il recula et fit une pause, comme pour évaluer son travail.

Les traits, pour la plupart différentes nuances de gris, suggéraient quelque chose d'abstrait – une fourmilière, peut-être. Le Dr Oh, chef du roBot Intelligence Group de l'Université Carnegie Mellon, vêtu d'un sweat-shirt portant les mots « Il y a des artistes parmi nous », a regardé avec approbation. Son doctorant, Peter Schaldenbrand, se tenait à ses côtés.

Les travaux du Dr Oh, qui incluent la vision des robots et des sujets liés à l'aviation autonome, abordent souvent ce que l'on appelle l'écart entre la simulation et le réel : comment les machines entraînées dans un environnement simulé peuvent agir dans le monde réel. Ces dernières années, M. Schaldenbrand a mené un effort visant à combler le fossé entre la simulation et la réalité entre les programmes sophistiqués de génération d'images comme Stable Diffusion et les œuvres d'art physiques comme les dessins et les peintures. Cela s'est principalement manifesté dans le projet connu sous le nom de FRIDA, dont la dernière itération vrombissait en rythme dans un coin du laboratoire. (FRIDA est l'acronyme de Framework and Robotics Initiative for Developing Arts, bien que les chercheurs aient choisi cet acronyme, inspiré par Frida Kahlo, avant de décider de ce qu'il signifiait.)

Le processus de passage des invites linguistiques aux images pixellisées et aux coups de pinceau peut être compliqué, car le robot doit tenir compte du « bruit du monde réel », a déclaré le Dr Oh. Mais elle, M. Schaldenbrand et Jim McCann, roboticien chez Carnegie Mellon qui a également contribué au développement de FRIDA, estiment que la recherche mérite d'être poursuivie pour deux raisons : elle pourrait améliorer l'interface entre les humains et les machines, et elle pourrait, grâce à l'art, aider relier les gens les uns aux autres.

"Ces modèles sont formés sur la base des données de chacun", a déclaré le Dr McCann, faisant référence aux grands modèles de langage qui alimentent des outils tels que ChatGPT et DALL-E. "Et donc je pense toujours que nous cherchons comment des projets comme celui-ci, qui utilisent de tels modèles, peuvent redonner de la valeur aux gens."

L’écart entre la simulation et le réel constitue un problème étonnamment délicat pour les roboticiens et les ingénieurs informaticiens. Certains systèmes d'intelligence artificielle peuvent répertorier les étapes de la marche (resserrer vos quadriceps et fléchir vos tibias postérieurs, incliner votre poids vers l'arrière et contracter votre grand fessier) et faire une marche corporelle simulée dans un monde virtuel. Il est donc tentant de penser que ces systèmes pourraient facilement faire marcher un corps physique dans le monde réel.

Ce n’est pas le cas. Dans les années 1980, l’informaticien Hans Moravec a noté que l’IA était efficace pour engager des raisonnements complexes et analyser de grandes quantités de données, mais qu’elle était mauvaise pour des activités physiques simples, comme ramasser une bouteille d’eau. C'est ce qu'on appelle le paradoxe de Moravec. (La supériorité physique des humains pourrait s'expliquer par la longue histoire évolutive de notre corps ; les tâches qui sont simples pour nous sont soutenues par des millions d'années d'expérimentation darwinienne.)

La peinture, qui mélange souvent des idées conceptuelles et des actions physiques fondamentales, met en relief le paradoxe : comment parvient-on à capturer l'absurdité de la conscience humaine avec les mouvements d'un bras ?

Les outils de génération d'images d'IA tels que Midjourney, DALL-E et Stable Diffusion sont formés en alimentant les réseaux neuronaux avec d'énormes bases de données d'images et de descriptions textuelles correspondantes. L'objectif programmé est de modéliser les relations entre le sens des mots et les caractéristiques des images, puis d'utiliser ces relations dans un « modèle de diffusion » pour créer des images originales qui conservent le sens de descriptions particulières. (L'invite « Un pique-nique en famille dans le parc » générera une nouvelle image à chaque fois qu'elle sera utilisée ; chacune sera compréhensible comme un pique-nique en famille dans le parc.)