Cliquez ici pour vous connecter avec

ou

Mot de passe oublié?

Apprendre encore plus

4 février 2021

par l’Université de Washington

Quiconque a assisté à un concert sait que quelque chose de magique se produit entre les interprètes et leurs instruments Il transforme la musique de simples «notes sur une page» en une expérience satisfaisante

Une équipe de l’Université de Washington s’est demandé si l’intelligence artificielle pouvait recréer ce plaisir en utilisant uniquement des indices visuels: une vidéo silencieuse et descendante de quelqu’un jouant du piano Les chercheurs ont utilisé l’apprentissage automatique pour créer un système, appelé Audeo, qui crée du son à partir de performances de piano silencieuses. Lorsque le groupe a testé la musique qu’Audeo a créée avec des applications de reconnaissance musicale, telles que SoundHound, les applications ont correctement identifié le morceau joué par Audeo environ 86% du temps. À titre de comparaison, ces applications ont identifié le morceau dans les pistes audio à partir des vidéos sources 93% du temps

“Créer une musique qui donne l’impression qu’elle pourrait être jouée dans une performance musicale était auparavant considéré comme impossible”, a déclaré l’auteur principal Eli Shlizerman, professeur assistant dans les départements de mathématiques appliquées et de génie électrique et informatique. «Un algorithme doit déterminer les indices, ou« caractéristiques », dans les images vidéo qui sont liés à la génération de musique, et il doit« imaginer »le son qui se produit entre les images vidéo. Cela nécessite un système à la fois précis et imaginatif Le fait que nous ayons réalisé une musique qui sonnait plutôt bien était une surprise”

Audeo utilise une série d’étapes pour décoder ce qui se passe dans la vidéo, puis la traduire en musique Tout d’abord, il doit détecter quelles touches sont enfoncées dans chaque image vidéo pour créer un diagramme au fil du temps Ensuite, il doit traduire ce diagramme en quelque chose qu’un synthétiseur de musique reconnaîtrait réellement comme un son qu’un piano ferait Cette deuxième étape nettoie les données et ajoute plus d’informations, telles que la force avec laquelle chaque touche est enfoncée et pendant combien de temps

“Si nous essayons de synthétiser de la musique dès la première étape uniquement, nous trouverons la qualité de la musique insatisfaisante”, a déclaré Shlizerman “La deuxième étape est la manière dont un enseignant examine la musique d’un élève compositeur et contribue à l’améliorer.”

Les chercheurs ont formé et testé le système à l’aide de vidéos YouTube du pianiste Paul Barton La formation comprenait environ 172000 images vidéo de Barton jouant de la musique de compositeurs classiques bien connus, tels que Bach et Mozart. Ensuite, ils ont testé Audeo avec près de 19000 images de Barton jouant une musique différente de ces compositeurs et d’autres, tels que Scott Joplin.

Une fois qu’Audeo a généré une transcription de la musique, il est temps de la donner à un synthétiseur qui peut la traduire en son Chaque synthétiseur rendra la musique un peu différente – cela revient à changer le réglage «instrument» sur un clavier électrique Pour cette étude, les chercheurs ont utilisé deux synthétiseurs différents

“Fluidsynth produit des sons de piano de synthétiseur avec lesquels nous sommes familiers Celles-ci sont quelque peu mécaniques mais assez précises », a déclaré Shlizerman «Nous avons également utilisé PerfNet, un nouveau synthétiseur IA qui génère une musique plus riche et plus expressive Mais cela génère aussi plus de bruit”

Audeo a été formé et testé uniquement sur les vidéos de piano de Paul Barton Des recherches futures sont nécessaires pour voir dans quelle mesure il pourrait transcrire la musique pour n’importe quel musicien ou piano, a déclaré Shlizerman.

“Le but de cette étude était de voir si l’intelligence artificielle pouvait générer de la musique jouée par un pianiste dans un enregistrement vidéo – bien que nous ne cherchions pas à reproduire Paul Barton parce qu’il est un virtuose”, a déclaré Shlizerman “Nous espérons que notre étude permettra de nouvelles façons d’interagir avec la musique Par exemple, une application future est qu’Audeo peut être étendu à un piano virtuel avec une caméra enregistrant uniquement les mains d’une personne De plus, en plaçant une caméra sur un vrai piano, Audeo pourrait potentiellement aider à de nouvelles façons d’apprendre aux élèves à jouer.”

Merci d’avoir pris le temps d’envoyer votre opinion aux éditeurs de Science X

Soyez assurés que nos rédacteurs surveillent de près tous les commentaires envoyés et prendront les mesures appropriées Vos opinions sont importantes pour nous

Nous ne garantissons pas les réponses individuelles en raison du volume de correspondance extrêmement élevé

Votre adresse e-mail est utilisée uniquement pour indiquer au destinataire qui a envoyé l’e-mail Ni votre adresse ni l’adresse du destinataire ne seront utilisées à d’autres fins Les informations que vous entrez apparaîtront dans votre e-mail et ne seront conservées par Tech Xplore sous aucune forme

Ce site utilise des cookies pour faciliter la navigation, analyser votre utilisation de nos services et fournir du contenu provenant de tiers
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique de confidentialité
et conditions d’utilisation

Intelligence artificielle, apprentissage automatique, piano

Actualités – GB – «Audeo» enseigne l’intelligence artificielle à jouer du piano

Source: https://techxplore.com/news/2021-02-audeo-artificial-intelligence-piano.html

En s’appuyant sur ses expertises dans les domaines du digital, des technologies et des process , CSS Engineering vous accompagne dans vos chantiers de transformation les plus ambitieux et vous aide à faire émerger de nouvelles idées, de nouvelles offres, de nouveaux modes de collaboration, de nouvelles manières de produire et de vendre.

CSS Engineering s’implique dans les projets de chaque client comme si c’était les siens. Nous croyons qu’une société de conseil devrait être plus que d’un conseiller. Nous nous mettons à la place de nos clients, pour aligner nos incitations à leurs objectifs, et collaborer pour débloquer le plein potentiel de leur entreprise. Cela établit des relations profondes et agréables.

Nos services:

  1. Création des sites web professionnels
  2. Hébergement web haute performance et illimité
  3. Vente et installation des caméras de vidéo surveillance
  4. Vente et installation des système de sécurité et d’alarme
  5. E-Marketing

Toutes nos réalisations ici https://www.css-engineering.com/en/works/