Click here to connect with

or

Forgot your password?

Learn more

4 February 2021

par l’Université de Washington

Quiconque a assisté à un concert sait que quelque chose de magique se produit entre les interprètes et leurs instruments Il transforme la musique de simples «notes sur une page» en une expérience satisfaisante

Une équipe de l’Université de Washington s’est demandé si l’intelligence artificielle pouvait recréer ce plaisir en utilisant uniquement des indices visuels: une vidéo silencieuse et descendante de quelqu’un jouant du piano Les chercheurs ont utilisé l’apprentissage automatique pour créer un système, appelé Audeo, qui crée du son à partir de performances de piano silencieuses. Lorsque le groupe a testé la musique qu’Audeo a créée avec des applications de reconnaissance musicale, telles que SoundHound, les applications ont correctement identifié le morceau joué par Audeo environ 86% time. To compare, ces applications ont identifié le morceau dans les pistes audio à partir des vidéos sources 93% time

Créer une musique qui donne l’impression qu’elle pourrait être jouée dans une performance musicale était auparavant considéré comme impossible”, a déclaré l’auteur principal Eli Shlizerman, professeur assistant dans les départements de mathématiques appliquées et de génie électrique et informatique. «Un algorithme doit déterminer les indices, or« characteristics », dans les images vidéo qui sont liés à la génération de musique, et il doit« imaginer »le son qui se produit entre les images vidéo. Cela nécessite un système à la fois précis et imaginatif Le fait que nous ayons réalisé une musique qui sonnait plutôt bien était une surprise

Audeo utilise une série d’étapes pour décoder ce qui se passe dans la vidéo, puis la traduire en musique Tout d’abord, il doit détecter quelles touches sont enfoncées dans chaque image vidéo pour créer un diagramme au fil du temps Ensuite, il doit traduire ce diagramme en quelque chose qu’un synthétiseur de musique reconnaîtrait réellement comme un son qu’un piano ferait Cette deuxième étape nettoie les données et ajoute plus d’informations, telles que la force avec laquelle chaque touche est enfoncée et pendant combien de temps

Si nous essayons de synthétiser de la musique dès la première étape uniquement, nous trouverons la qualité de la musique insatisfaisante”, a déclaré ShlizermanLa deuxième étape est la manière dont un enseignant examine la musique d’un élève compositeur et contribue à l’améliorer.

Les chercheurs ont formé et testé le système à l’aide de vidéos YouTube du pianiste Paul Barton La formation comprenait environ 172000 images vidéo de Barton jouant de la musique de compositeurs classiques bien connus, tels que Bach et Mozart. Ensuite, ils ont testé Audeo avec près de 19000 images de Barton jouant une musique différente de ces compositeurs et d’autres, tels que Scott Joplin.

Une fois qu’Audeo a généré une transcription de la musique, il est temps de la donner à un synthétiseur qui peut la traduire en son Chaque synthétiseur rendra la musique un peu différentecela revient à changer le réglage «instrument» sur un clavier électrique Pour cette étude, les chercheurs ont utilisé deux synthétiseurs différents

Fluidsynth produit des sons de piano de synthétiseur avec lesquels nous sommes familiers Celles-ci sont quelque peu mécaniques mais assez précises », a déclaré Shlizerman «Nous avons également utilisé PerfNet, un nouveau synthétiseur IA qui génère une musique plus riche et plus expressive Mais cela génère aussi plus de bruit

Audeo a été formé et testé uniquement sur les vidéos de piano de Paul Barton Des recherches futures sont nécessaires pour voir dans quelle mesure il pourrait transcrire la musique pour n’importe quel musicien ou piano, a déclaré Shlizerman.

Le but de cette étude était de voir si l’intelligence artificielle pouvait générer de la musique jouée par un pianiste dans un enregistrement vidéobien que nous ne cherchions pas à reproduire Paul Barton parce qu’il est un virtuose”, a déclaré ShlizermanNous espérons que notre étude permettra de nouvelles façons d’interagir avec la musique Par exemple, une application future est qu’Audeo peut être étendu à un piano virtuel avec une caméra enregistrant uniquement les mains d’une personne De plus, en plaçant une caméra sur un vrai piano, Audeo pourrait potentiellement aider à de nouvelles façons d’apprendre aux élèves à jouer.

Thank you for taking the time to send your opinion to the editors of Science X

Please be assured that our editors closely monitor all comments sent and will take appropriate action.Your opinions are important to us

We do not guarantee individual responses due to the extremely high volume of correspondence

Your email address is only used to tell the recipient who sent the email Neither your address nor the recipient's address will be used for any other purpose The information you enter will appear in your email and will not will be retained by Tech Xplore in any form

This site uses cookies to facilitate navigation, analyze your use of our services and provide content from third parties
Using our site, you acknowledge having read and understood our privacy policy
and conditions of use

Artificial intelligence, machine learning, piano

News – GB – «Audeo» teaches artificial intelligence to play the piano

Source: https://techxplore.com/news/2021-02-audeo-artificial-intelligence-piano.html

Building on its expertise in the areas of digital, technologies and processes , CSS Engineering you in your most ambitious transformation projects and helps you bring out new ideas, new offers, new modes of collaboration, new ways of producing and selling.

CSS Engineering is involved in projects each customer as if it were his own. We believe a consulting company should be more than an advisor. We put ourselves in the place of our customers, to align we incentives to their goals, and collaborate to unlock the full potential their business. This establishes deep relationships and enjoyable.

Our services:

  1. Create professional websites
  2. Hosting high performance and unlimited
  3. Sale and video surveillance cameras installation
  4. Sale and Installation of security system and alarm
  5. E-Marketing

All our achievements here https://www.css-engineering.com/en/works/