Des chercheurs aux USA ont mis en évidence une grosse faiblesse des algorithmes par apprentissage profond utilisés dans les voitures autonomes. Pas forcément notées par les conducteurs, certaines modifications subtiles sur les panneaux peuvent induire les algorithmes en erreur. Erreurs potentiellement catastrophiques.
Des chercheurs aux USA ont mis en évidence une grosse faiblesse des algorithmes par apprentissage profond utilisés dans les voitures autonomes. Pas forcément notées par les conducteurs, certaines modifications subtiles sur les panneaux peuvent induire les algorithmes en erreur. Erreurs potentiellement catastrophiques.
L'un des grands chantiers des voitures autonomes est la reconnaissance de son environnement, véhicules, piétons mobilier urbains, et particulièrement des panneaux routiers. Or si les constructeurs et les sociétés qui développent les systèmes de reconnaissance font tout pour que ceux-ci soient les plus précis possible, d'autres cherchent (pour la bonne cause) à piéger les systèmes par des moyens complexes. Ou, comme ici, des moyens tellement enfantins que c'en est inquiétant.
Huit chercheurs de quatre universités américaines ont mis en commun leurs efforts pour berner les algorithmes par apprentissage profond (ou deep learning) des véhicules autonomes. En effet, actuellement, on utilise des réseaux neuronaux qui apprennent par expérience à reconnaître les panneaux. Pour cela, on donne à l'algorithme une base d'images classifiées qui représentent différents panneaux sous différents angles, lumière, usure, etc. Une fois l'apprentissage fait, l'algorithme est censé pouvoir se débrouiller dans toutes les situations, même celles auxquelles il n'a pas directement été confronté lors de l'apprentissage.
Pour l'expérience, les chercheurs ont pris un algorithme "classique" de classification des panneaux et lui ont fait passer la phase d'apprentissage sur une base restreinte de 17 panneaux seulement. Chaque panneau est présent dans la base d'apprentissage entre 92 et 500 fois pour un total de près de 4600 images de panneaux.
Les chercheurs ont prévu plusieurs "attaques" pour tromper l'algorithme de reconnaissance. La première consiste à reproduire un panneau (Stop en l'occurrence) en lui appliquant de subtiles modifications (de couleurs par exemple). Ce faux panneau est totalement lisible par un œil humain qui notera sans doute les variations de couleurs mais lira bien STOP. Or, l'algorithme testé se plante systématiquement et voit un panneau de limitation à 45 mph. Pire, l'algorithme est totalement sûr de lui, à plus de 70% dans pratiquement tous les cas. La voiture ne s'arrêterait donc certainement pas.
La deuxième attaque est sensiblement la même. Mais, ici, un panneau "tourner à droite" est recouvert partiellement. Seule la flèche est couverte d'un damier dégradé. Le dégradé est fait de telle manière que l'angle à 90° de la flèche est perturbé. Le reste du panneau n'est pas altéré et il est totalement reconnaissable...pour un humain. En revanche pour l'algorithme, il se transforme en panneau STOP ou en "ligne ajoutée". Si le panneau "ligne ajoutée" se comprend (il s'agit d'un panneau jaune avec deux flèches au lieu d'une)à cause du dégradé perturbateur, le panneau STOP semble assez peu compréhensible. Pourtant, l'algorithme est là encore plutôt sûr de lui (entre 40 et 50%).
Les deux premières attaques supposent qu'il y a volonté de nuire (ou alors que les panneaux sont vraiment dégradés !). Mais, les deux autres attaques sont, malheureusement, des cas concrets que l'on croise dans la réalité. En effet, la troisième attaque consiste à apposer des autocollants (ici LOVE et HATE) qui viennent perturber la lecture du panneau. Pour un humain, le message principal "STOP" n'est pas altéré. Mais, une nouvelle fois, l'algorithme se trompe au-delà d'une certaines distance. A proche distance, il reconnait le panneau STOP mais avec une confiance plutôt faible, ou une hésitation entre deux possibilités.
La dernière attaque est encore plus commune puisqu'il s'agit d'apposer des autocollants noirs ou blancs sur le panneaux. Ces stickers de publicité ou "d'art" viennent brouiller la lecture de l'algorithme. Ce dernier se trompe dans 100% des cas, reconnaissant une limitation à 45. On notera tout de même que la seconde hypothèse est souvent le panneau STOP.
Evidemment, le but des chercheurs n'est pas de démontrer que le véhicule autonome est dangereux. Ils cherchent à pointer les faiblesses possibles pour l'améliorer. Ils comptent d'ailleurs réaliser d'autres tests avec de nouvelles perturbations que l'on peut rencontrer tous les jours.
Il serait intéressant de confronter les véhicules autonomes (ou pseudo autonomes) avec ce genre de tests. Sera-ce un test Euro NCAP dans le futur ?
Source et illustration : "Robust Physical-World Attacks on Machine Learning Models" - pour lire la publication (en Anglais) en entier, c'est par > ICI <.
Des chercheurs aux USA ont mis en évidence une grosse faiblesse des algorithmes par apprentissage profond utilisés dans les voitures autonomes. Pas forcément notées par les conducteurs, certaines modifications subtiles sur les panneaux peuvent induire les algorithmes en erreur. Erreurs potentiellement catastrophiques.
Retrouvez tous les soirs une sélection d'articles dans votre boite mail.
