Peut-on tromper la reconnaissance faciale avec un simple masque ?
Découvrez comment perturber la reconnaissance faciale, générez votre motif expérimental sur une application en bêta ouverte.
Ce que la machine voit
Un système de reconnaissance faciale ne voit pas votre visage comme un humain le voit. Il transforme l'image en une représentation mathématique, une empreinte numérique, qu'il peut ensuite comparer à celles de milliers ou de millions d'autres personnes.
Photo
Détection du visage
9 %
14 %
6 %
12 %
97 %
21 %
8 %
17 %
11 %
Identification
le plus haut score, c'est vous
Cela pose une question simple : si un algorithme nous reconnaît à partir de cette empreinte, peut-on modifier ce qu'il voit pour rendre la reconnaissance plus difficile ?
C'est le principe d'AI Camouflage : créer un motif « trompe-l'œil » (adversarial) imprimé sur un masque. Pour un humain, votre visage reste parfaitement reconnaissable. Pour la machine, l'empreinte numérique est brouillée.
L'idée du motif adversarial existe déjà numériquement dans le monde de la recherche. Mais un motif efficace sur écran ne le reste pas forcément dans la réalité. L'encre, les plis du tissu, la lumière ou le capteur de la caméra altèrent l'image : un motif parfait en simulation peut s'effondrer une fois imprimé. Tout l'enjeu est de créer un motif assez robuste pour survivre au monde physique dans des applications précises, c'est une des nouveautés que l'on explore.
Pourquoi porter un masque ne suffit pas ?
Une première intuition légitime serait « il suffit de se couvrir le visage ». Cela ne fonctionne pas : les systèmes modernes de reconnaissance faciale sont de plus en plus entraînés à reconnaître un visage malgré les occlusions, surtout depuis le Covid.
Masque, écharpe, lunettes, main devant le visage : pendant leur entraînement, ils apprennent à exploiter les indices qui restent visibles (contour des yeux, front, proportions, structure du visage) pour continuer à produire une identification.
Un motif adversarial suit une logique différente de l'occlusion. Il ne cherche pas simplement à cacher le visage, mais à fausser la manière dont l'algorithme le perçoit.
Le motif est conçu pour perturber les caractéristiques numériques que le modèle extrait du visage et déplacer son empreinte biométrique loin de celle qu'il devrait normalement produire. Le système peut toujours détecter un visage, l'analyser et le mesurer, mais la représentation qu'il en calcule ne correspond plus aussi bien à la personne recherchée.
En bref : le masque occulte ; le motif adversarial perturbe. L'un retire de l'information, l'autre cherche à induire l'algorithme en erreur.
Et ça fonctionne : dans nos tests, face à plusieurs algorithmes open source, nos masques imprimés empêchent aujourd'hui le système de vous identifier.
Les résultats détaillés face à plusieurs algorithmes open source reconnus de reconnaissance faciale :
Un camouflage personnel
Le motif n'est pas universel : deux personnes n'ont pas le même visage et ne produisent pas la même empreinte numérique. Nous explorons donc une approche où chaque motif est calculé pour une personne donnée, à partir de quelques photos de son visage. Plutôt qu'un textile « anti-IA » identique pour tout le monde, le camouflage se rapproche d'un produit sur mesure : vous fournissez quelques photos, un motif propre à votre visage est calculé, et vous pouvez ensuite l'imprimer, le porter et mesurer son effet.
Concrètement, un masque calculé pour vous ne protège que vous : porté par quelqu'un d'autre, il perd l'essentiel de son effet. Ce n'est pas un défaut, c'est la logique même du camouflage : le motif est construit contre votre empreinte numérique, pas contre celle du voisin.
Non identifié
Non identifié
Reconnu · rang 1, comme sans masque
Reconnu · rang 1, comme sans masque
La combinaison plutôt que l'objet miracle
Un résultat ouvre une piste inattendue, avec un objet on ne peut plus banal : une casquette.
Portée seule, une casquette laisse une personne parfaitement reconnaissable. Associée à un masque chirurgical classique, elle ne protège guère mieux : les algorithmes retrouvent encore facilement la personne. Mais dans nos essais, ajouter cette même casquette à un masque portant un motif adversarial a produit bien plus qu'un petit gain : l'effet observé était multiplié, comme si l'occultation créée par la casquette et le motif se renforçaient mutuellement.
Le camouflage anti-IA efficace tient sans doute moins à un objet miracle qu'à la combinaison de plusieurs signaux complémentaires, conçus pour fonctionner ensemble. Le champ d'exploration s'agrandit : des lunettes ? un couvre-chef ? du maquillage ? plusieurs surfaces adversariales portées en même temps ?
L'objectif pour la suite devient clair : AI Camouflage souhaiterait dépasser le masque pour devenir un véritable système de camouflage personnel, qui guide la personne à se rendre invisible à l'IA à travers plusieurs techniques.
Et face à des algorithmes que nous ne connaissons pas ?
Les systèmes de reconnaissance faciale sont nombreux. Certains sont open source. D'autres sont entièrement propriétaires. Nous ne connaissons ni leur architecture exacte, ni leurs données d'entraînement, ni les paramètres internes qui déterminent leurs décisions. La vraie question est celle du transfert : un motif créé avec certains algorithmes peut-il aussi mettre en échec un système qu'il n'a jamais rencontré ?
Pour le savoir, nous avons confronté nos motifs à AWS Rekognition, le service de reconnaissance faciale du cloud d'Amazon. Nous n'avons aucun accès à son fonctionnement interne, et notre algorithme ne peut pas s'appuyer sur son modèle pour optimiser le camouflage : c'est un test en aveugle.
Le protocole est simple. Nous fournissons à Rekognition 10 photos de référence d'une personne et une base de données de 10 000 personnes différentes, puis nous lui demandons de la retrouver sur de nouvelles images. Ce protocole est volontairement difficile : de manière usuelle, on n'utilise que quelques photos (souvent une seule) d'une personne référente plutôt que 10, et la base de données contient des millions de photos de personnes, plutôt que 10 000.
Sans camouflage, il la retrouve sans difficulté. Avec le masque, la personne ne ressort plus dans les correspondances renvoyées par le système, et ce de manière répétée dans nos tests.
Sans camouflage
100 %
similarité avec votre visage
Rekognition vous retrouve immédiatement : 1re correspondance, rang 1 sur 10 010.
Chirurgical + casquette
98,6 %
similarité avec votre visage
Cacher le visage ne suffit pas : 1re correspondance vous (99,4 %), toujours rang 1 sur 10 010.
Motif seul
13,4 %
similarité avec votre visage
La 1re correspondance est un inconnu (28,1 %). Vous glissez au rang 11 sur 10 010.
Motif + casquette
0,5 %
similarité avec votre visage
La 1re correspondance est un inconnu (56,5 %). Votre visage sombre au rang 1 579 sur 10 010.
Ce résultat compte : il suggère que le motif n'exploite pas simplement une particularité d'un modèle open source, mais que certaines de ses propriétés se transfèrent vers des systèmes propriétaires entièrement différents. La « recette » de ce transfert fait encore l'objet de nos recherches, et nous ne la détaillerons pas ici.
Une course d'adaptation permanente
Un motif efficace aujourd'hui ne le restera pas indéfiniment. Comme en cybersécurité, attaques et défenses évoluent en permanence : si une famille de motifs adversariaux se généralise, les futurs algorithmes de reconnaissance seront entraînés pour y résister, et il faudra chercher autre chose. De nouvelles textures, de nouvelles surfaces, de nouvelles combinaisons.
Le motif que nous développons aujourd'hui n'a donc pas vocation à être intemporel. Nous ne cherchons pas à découvrir une fois pour toutes « un motif anti-reconnaissance faciale », cela n'a pas l'air possible. L'objectif est de garder une capacité de recherche citoyenne pour se donner les moyens de se protéger contre la reconnaissance faciale. Il nous faut donc continuellement comprendre comment les systèmes évoluent, mesurer leur robustesse, découvrir de nouvelles faiblesses et développer les générations suivantes de camouflage.
L'enjeu sera aussi économique : protéger des algorithmes de reconnaissance faciale contre ces masques coûtera de l'argent et du temps de développement. Trouver d'autres techniques de camouflage aussi. Comment cette balance économique évoluera entre attaque et défense sera primordial.
C'est un bon moment pour réaffirmer certaines valeurs d'AI Camouflage : le but est de nous donner le pouvoir de l'équilibre, pas de casser systématiquement tous les systèmes de reconnaissance faciale. L'utilisation de ces algorithmes ne peut pas se faire sans cadre gouverné, clair et transparent, pour assurer une utilisation saine. Par exemple, une identification légale et réglementée par la police ou la gendarmerie française est saine. Son utilisation illégale, qui a pu être rapportée par certains médias, n'est pas saine.
Et maintenant ?
Nous n'en sommes qu'au début. Il reste beaucoup à comprendre : le comportement des motifs face à la diversité des personnes, d'autres systèmes propriétaires, leur résistance à la distance et à la diversité des caméras, les combinaisons physiques les plus efficaces, la manière dont les futurs modèles s'adapteront.
Mais une idée se dessine déjà : le camouflage à l'ère de l'intelligence artificielle sera personnel, calculé et évolutif. Personnel, parce qu'il est créé pour votre propre visage. Calculé, parce que son apparence n'est pas seulement esthétique : elle est optimisée en fonction de la manière dont les machines nous perçoivent. Évolutif, parce qu'il devra continuer à changer à mesure que les algorithmes de reconnaissance évoluent eux-mêmes.
C'est ce que nous voulons explorer avec AI Camouflage, et vous pouvez y prendre part dès maintenant : générez votre motif, imprimez-le, portez-le, et dites-nous ce que vous observez.
Participer au projet
Vous souhaitez participer à nos prochains tests, essayer AI Camouflage face à un système de reconnaissance auquel vous êtes confronté, ou tester la robustesse de votre propre système ?
Écrivez-nous à yann.carbonne@proton.me.