Générer des effets sonores avec l’intelligence artificielle 2024

Créer des sons d’ambiance avec des des effets sonores grâce à l’intelligence artificielle
Bris de glace, grognement d’hippopotame, applaudissements à tout rompre… Tous ces bruitages sont accessibles depuis des IA génératives !
L’affaire est entendue : l’intelligence artificielle est fort douée pour créer une simulation de votre voix comme avec ElevenLabs, ou des chansons notamment avec Suno.

Toutefois, l’arrivée des IA génératives de vidéo a ouvert un nouveau champ des possibles. Si nous avons d’abord été impressionnés par Gen 2 de Runway ML, d’autres applications ont fait parler d’elles comme Pika Labs et plus récemment Sora de OpenAI.

Il reste à sonoriser de telles vidéos et pour ce faire, il est souvent nécessaire de faire appel à des bibliothèques d’effets sonores. Traditionnellement, des sociétés se sont spécialisées dans ce domaine, fournissant des CDs entiers de cris d’animaux, d’ambiances diverses (bruits de la forêt, de la mer…), de bruitages courants : portes qui claquent, fracas de vaisselle… Toutefois, chaque bibliothèque est dédiée à un certain type de sonorités et donc, il n’est pas toujours facile de trouver son bonheur.

Générer de tels effets sonores représentait une aubaine pour les IA génératives. Car, ici, le principe est simple : vous pouvez demander à l’application de générer aussi bien un grognement d’hippopotame que l’écoulement de l’eau d’une cascade. Il suffit de spécifier le prompt approprié.

Une première application est apparue : OptimizerAI.xyz et vous pouvez faire le test. Demandez-lui de générer toutes sortes de bruitages et elle va vous proposer 5 échantillons de ce que vous avez demandé. Habituellement, on trouve son bonheur parmi ces cinq propositions. La qualité générale est plutôt appréciable sans être renversante. Seule restriction : les prompts doivent être en anglais.
Création d’effets sonores à partir de ElevenLabs

Pour accéder à la création d’effets sonores depuis la page d’accueil de ElevenLabs, consultez le menu vertical sur la gauche. L’option Sound Effects est accessible juste au-dessous de l’option Speech.

Il est possible que vous ne puissiez pas encore avoir acccès à cette option au moment où vous vous connecterez. Si tel est le cas, ElevenLabs a mis en place une liste d’attente. Indiquez votre e-mail afin d’être prévenu dès lors qu’un accès vous sera accordé.
L’interface de ElevenLabs Sound Effects

Depuis Sound Effects, tapez un prompt, idéalement détaillé, comme vous le feriez avec ChatGPT. Cliquez ensuite sur Generate sound effects. Dans la version que nous avons testée, Sound Effects ne comprenait pas bien les instructions en français, mais il est probable que cela aura été corrigé au moment où vous lirez ces lignes. En réponse de chaque prompt, Sound Effects vous propose 5 exemples d’effets sonores.
Nous avons demandé à cet outil toutes sortes de bruitages (vitre brisée, chant d’opéra derrière une porte de théâtre, atmosphère de dessin animé…) et avons été le plus souvent favorablement impressionnés. Habituellement, on trouve son bonheur parmi les 5 solutions proposées. Ce qui surprend surtout est l’immense qualité sonore des bruitages générés, qui laisse à penser que ElevenLabs a fourni de gros efforts sur la haute fidélité.

Il existe un avantage à disposer de 5 exemples de génération d’effets sonore, c’est que cela donne une variété de choix intéressante. Ainsi, sur le prompt : « Une audience applaudit à tout rompre à la fin d’un concert », nous avons eu droit à plusieurs versions. Dans l’une d’elle, nous avons eu une foule en furie, avec le petit détail d’une seconde relativement calme, comme surprise, avant le déchaînement des hurlements, ce qui amène un côté vraiment très réaliste. Mais nous avons aussi eu droit à une salve d’applaudissements plus réservée, comme à un concert classique, avec l’avantage que l’on entend clairement les frappes de mains.
Créer des sons d’ambiance grâce à l’intelligence artificielle !!