IMAGE: une technologie développée grâce à une collaboration menée par KAUST avec Intel, Microsoft et l’Université de Washington peut considérablement augmenter la vitesse de l’apprentissage automatique sur les systèmes informatiques parallélisés
voir plus

L’insertion de code d’optimisation léger dans les périphériques réseau à haut débit a permis à une collaboration dirigée par KAUST de multiplier par cinq la vitesse d’apprentissage automatique sur les systèmes informatiques parallélisés.

Cette technologie « d’agrégation en réseau », développée avec des chercheurs et des architectes système d’Intel, de Microsoft et de l’Université de Washington, peut apporter des améliorations de vitesse spectaculaires en utilisant du matériel réseau programmable facilement disponible

L’avantage fondamental de l’intelligence artificielle (IA) qui lui donne tant de pouvoir pour «comprendre» et interagir avec le monde est l’étape d’apprentissage automatique, au cours de laquelle le modèle est entraîné à l’aide de grands ensembles de données d’entraînement étiquetées. Plus l’IA est formée de données, meilleures sont les performances du modèle lorsqu’il est exposé à de nouvelles entrées

La récente explosion d’applications d’IA est en grande partie due à un meilleur apprentissage automatique et à l’utilisation de modèles plus grands et d’ensembles de données plus diversifiés Cependant, effectuer les calculs d’apprentissage automatique est une tâche extrêmement pénible qui repose de plus en plus sur de grandes baies d’ordinateurs exécutant l’algorithme d’apprentissage en parallèle.

« Comment former des modèles d’apprentissage en profondeur à grande échelle est un problème très difficile », déclare Marco Canini de l’équipe de recherche KAUST «Les modèles d’IA peuvent être constitués de milliards de paramètres et nous pouvons utiliser des centaines de processeurs qui doivent fonctionner efficacement en parallèle Dans de tels systèmes, la communication entre les processeurs lors des mises à jour incrémentielles du modèle devient facilement un goulot d’étranglement majeur des performances. »

L’équipe a trouvé une solution potentielle dans la nouvelle technologie réseau développée par Barefoot Networks, une division d’Intel

«Nous utilisons le nouveau matériel de réseau de plan de données programmable de Barefoot Networks pour décharger une partie du travail effectué pendant la formation à l’apprentissage automatique distribué», explique Amedeo Sapio, un ancien de KAUST qui a depuis rejoint l’équipe Barefoot Networks d’Intel « L’utilisation de ce nouveau matériel de réseau programmable, plutôt que simplement du réseau, pour déplacer des données signifie que nous pouvons effectuer des calculs le long des chemins du réseau »

La principale innovation de la plate-forme SwitchML de l’équipe est de permettre au matériel réseau d’effectuer la tâche d’agrégation de données à chaque étape de synchronisation pendant la phase de mise à jour du modèle du processus d’apprentissage automatique. Non seulement cela décharge une partie de la charge de calcul, mais cela réduit également considérablement la quantité de transmission de données.

« Bien que le plan de données du commutateur programmable puisse effectuer des opérations très rapidement, les opérations qu’il peut effectuer sont limitées », déclare Canini « Notre solution devait donc être suffisamment simple pour le matériel et suffisamment flexible pour résoudre des problèmes tels que la capacité de mémoire intégrée limitée. SwitchML relève ce défi en co-concevant le réseau de communication et l’algorithme de formation distribué, réalisant une accélération jusqu’à 55 fois par rapport à l’approche de pointe »

Clause de non-responsabilité: AAAS et EurekAlert! ne sont pas responsables de l’exactitude des communiqués de presse publiés sur EurekAlert! par les institutions contributrices ou pour l’utilisation de toute information via le système EurekAlert

Apprentissage automatique, intelligence artificielle, Université des sciences et technologies King Abdullah, informatique

Actualités – GB – L’apprentissage automatique à grande vitesse
Titre associé :
Machine learning at speed
La collaboration KAUST avec Intel, Microsoft et l’Université de Washington accélère la formation aux modèles ML

Source: https://www.eurekalert.org/pub_releases/2021-04/kauo-mla041221.php

En s’appuyant sur ses expertises dans les domaines du digital, des technologies et des process , CSS Engineering vous accompagne dans vos chantiers de transformation les plus ambitieux et vous aide à faire émerger de nouvelles idées, de nouvelles offres, de nouveaux modes de collaboration, de nouvelles manières de produire et de vendre.

CSS Engineering s’implique dans les projets de chaque client comme si c’était les siens. Nous croyons qu’une société de conseil devrait être plus que d’un conseiller. Nous nous mettons à la place de nos clients, pour aligner nos incitations à leurs objectifs, et collaborer pour débloquer le plein potentiel de leur entreprise. Cela établit des relations profondes et agréables.

Nos services:

  1. Création des sites web professionnels
  2. Hébergement web haute performance et illimité
  3. Vente et installation des caméras de vidéo surveillance
  4. Vente et installation des système de sécurité et d’alarme
  5. E-Marketing

Toutes nos réalisations ici https://www.css-engineering.com/en/works/