L’intelligence artificielle a accompagné le concert de l’Orchestre symphonique du CRR en images

Dans le deuxième épisode, nous avons eu une expérience que j’ai vue pour la première fois, que nous devons à Atakan Kızıltan. Diplômée en économie du lycée Galatasaray, de l’Université et de la Sorbonne, Kızıltan a également obtenu une maîtrise en mégadonnées à l’UIT. Il fait toujours des modèles d’IA avec des données. Je vais vous dire quand nous sommes passés de la musique à l’économie. Atakan combine ces connaissances et capacités avec la musique. Tout en écoutant l’orchestre, on regarde un spectacle visuel sur l’écran arrière. Écoutons de lui comment et pourquoi :

  • Comment avez-vous décidé d’entreprendre une telle étude ?

Je m’intéresse aux données et à la science des données depuis le collège. L’idée de combiner les données avec l’art, qui est toujours présent dans nos vies, est née de mon intérêt pour la philosophie. À la suite de mes lectures sur la philosophie de l’art et l’esthétique, j’ai senti que de nouvelles questions devaient être posées lors de la définition de l’art. Tout mon travail a commencé avec la question : « L’intelligence artificielle peut-elle créer de l’art ?

Dans mes premières œuvres, j’ai représenté des philosophes et leurs pensées qui m’ont influencé avec des images que j’ai créées avec des données. J’ai exposé ces expositions et leurs histoires dans mon exposition personnelle intitulée “Datoptikon” au Centre Culturel Beylikdüzü Atatürk. En étudiant les oeuvres du peintre américain Jean-Michel Basquiat, j’ai essayé d’enseigner à l’intelligence artificielle le style clair et dominant de Basquiat. Après avoir vu ce que l’IA pouvait faire avec les images, j’ai imaginé un algorithme derrière un orchestre symphonique qui dessine des images pour correspondre aux visuels de la musique et modifie ces images pour correspondre à la musique, et j’ai travaillé là-dessus. J’ai partagé mon travail et mon rêve avec le directeur artistique et chef d’orchestre du CRR, Murat Cem Orhan. Avec sa passion pour l’art et ses idées novatrices, nous avons laissé les “Images d’une exposition” de M. Moussorgski entre les mains de l’intelligence artificielle.

(Pendant que l’orchestre joue, les images qui défilent sur l’écran changent en fonction de la musique, l’intelligence artificielle les sélectionne, et la performance devient “unique” car l’orchestre choisira une image différente à chaque fois qu’il jouera.)

LA FORMATION PREND DES JOURS

  • Combien de temps a-t-il fallu pour sélectionner et enregistrer l’image ?

J’ai choisi les images en fonction des œuvres des œuvres de Moussorgski. Par exemple, dans l’œuvre “Bydlo”, j’ai choisi des dizaines de milliers d’images d’animaux dessinées par des peintres pour représenter une charrette tirée par des bœufs. De même, dans la pièce où Moussorgski parle de Samuel et de Schmuyle, j’ai choisi des portraits humains préalablement dessinés. J’ai formé l’IA avec des images sélectionnées spécifiquement pour chaque pièce avec un algorithme que j’ai écrit. Après quelques jours d’entraînement, l’intelligence artificielle, entraînée avec des dizaines de milliers d’images d’animaux, a commencé à produire de nouvelles images d’animaux qui n’étaient disponibles nulle part auparavant. De la même manière, une IA formée avec des portraits humains ou des paysages urbains a produit des portraits humains et des paysages urbains après une journée de formation. La collecte d’images, l’écriture d’algorithmes et le processus de formation de l’intelligence artificielle, ainsi que mon travail avant le projet commun avec l’Orchestre symphonique du CRR, ont pris environ trois mois. J’ai géré les processus de stockage et de protection de toutes les images dans des outils de stockage apportés par la “technologie cloud”. La technologie cloud peut être résumée comme un type de service qui permet le partage de ressources entre utilisateurs sur un réseau Internet.

‘PERFORMANCE EN DIRECT’

La partie la plus agréable et la plus difficile a été de changer les images et la musique. Pour que les œuvres produites par l’IA bougent en harmonie avec la musique, j’ai dû faire la distinction entre les sons harmoniques et percussifs de la musique en utilisant des techniques de science des données. Après cela, j’ai extrait l’onde harmonique, l’onde de pouls, le tempo et des caractéristiques similaires qui me permettraient de comprendre la musique en tant que données. Grâce à ces qualités, j’ai combiné la musique et la peinture. J’ai gardé une réponse de percussion plus élevée dans les morceaux percussifs, tandis que j’ai gardé une réponse harmonique plus élevée dans les autres morceaux.

Mais le plus difficile était que la performance était en direct. Avec une atmosphère excitante, certaines parties de la performance en direct peuvent être plus rapides et d’autres plus lentes. Pendant le concert, j’ai essayé de m’adapter à l’orchestre sur l’ordinateur, et Murat Cem Orhan a dirigé le tempo de l’orchestre. Bref, nous avons tous réalisé une “performance live” pendant le concert pour l’harmonie de la musique et de l’image.

UNE EXPÉRIENCE UNIQUE

Comme le soulignait Murat Cem Orhan au début du concert, cette expérience était “unique”. Parce que c’était une fois. Même si elle était reproduite et que le même algorithme était utilisé, les images et leurs modifications seraient différentes. En fait, nous avons vécu cette expérience unique ensemble et c’est fini ! C’était très excitant d’en faire partie.

Leave a Comment