Impôts, immigration, chômage. Quand la chasse aux fraudeurs justifie le développement de la surveillance d'État - Décryptualité du 4 novembre 2019

Submitted by mmorandi on 9 novembre, 2019 - 10:13

Titre : Décryptualité du 4 novembre 2019 - Impôts, immigration, chômage. Quand la chasse aux fraudeurs justifie le développement de la surveillance d'État
Intervenant·e·s : Nolwenn - Nicolas - Luc
Lieu : April - Studio d'enregistrement
Date : 4 novembre 2019
Durée : 13 min
Écouter ou télécharger le podcast
Revue de presse pour la semaine 44 de l'année 2019
Licence de la transcription : Verbatim
Illustration : Internet Surveillance, Mike Licht, NotionsCapital.com - Licence Creative Commons CC BY
NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Description

Les discussions au Parlement sur la surveillance massive des contribuables pour traquer les fraudeurs n'est pas la première de son genre. Pourquoi doit-on s'en méfier absolument ?

Transcription

Luc : Décryptualité.

Voix off de Nico : Le podcast qui décrypte l’actualité des libertés numériques.

Luc : Semaine 44. Pas de Manu cette semaine. Salut Nicolas.

Nico : Salut Nolwenn.

Nolwenn : Salut Luc.

Luc : Mag et Manu sont partis pour un week-end très prolongé, donc on va faire sans. Manu n’a pas fait sa revue de presse hebdomadaire, du coup on ne va pas faire cette étape. On voulait parler cette semaine d’un truc qu’il y a dans l’actualité qui est la discussion qu’il y a actuellement au Parlement pour faire de la surveillance massive des réseaux sociaux et d’Internet en général pour aller traquer les gens qui fraudent le fisc.

Nolwenn : Ça va être joyeux ça !

Nico : Non seulement ça va être joyeux mais ça va surtout être open bar. Vu ce qu’ils sont en train de nous préparer ça va être vraiment très joyeux !

Nolwenn : Il y a de l’IA au moins ?

Nico : Oui, bien sûr.

Luc : Pour l’instant c’est juste discuté à l'Assemblée nationale. Il y a pas mal d’opposition, la CNIL1 a dit qu’elle était radicalement contre parce que ça ratissait beaucoup top large.

Nolwenn : Encore heureux que la CNIL est contre !

Luc : Il y a un député qui s’appelle Latombe2 qui est très actif, côté MoDem, contre ce projet de loi. Il n’est pas radicalement contre cette idée, mais il veut encadrer beaucoup plus cette recherche.

Nico : En l’état c’est, en gros, le fisc qui veut avoir accès à tous vos contenus en ligne pour être capable de vérifier si vos déclarations sont conformes à votre train de vie, comment vous vous comportez ou ce que vous faites, détecter les petites incohérences, les signaux faibles comme ils aiment bien dire.

Luc : Ou les signaux forts.

Nolwenn : Ça veut dire qu’on n’aura même plus le droit de troller sur les réseaux sociaux !

Nico : Voilà !

Luc : Ils veulent y accéder comment ? Ils veulent passer des accords avec les GAFAM pour récupérer les données ?

Nico : Peut-être des accords, mais en tout cas tout ce qui va être public pourra être aspiré, donc ils vont développer des robots pour aller vérifier vos comptes Twitter, Facebook, Instagram, en gros tout ce qui public, tout ce qui est réseau ouvert au public ils pourront les aspirer, y compris Airbnb ou autres. Donc ça peut aller très loin. Tout ce qui va concerner votre train de vie en général peut, du coup, être sous surveillance et allumer des petits voyants, on ne sait pas trop comment et sous quels critères, qui vont lancer des contrôles plus approfondis ou révoquer vos droits à telle ou telle subvention.

Luc : À priori c’est surtout lancer des pistes pour savoir sur qui faire des contrôles fiscaux. Toi Nolwenn, c’est fini de frimer devant des voitures de sport !

Nolwenn : C’est dommage ! Pourtant j’aimais bien les conduire.

Luc : Nicolas, tu disais que ça allait allumer des petits voyants et ces petits voyants sont allumés automatiquement par une intelligence artificielle.

Nico : Du code auto-apprenant d’après ce qu’ils ont mis dans le texte de loi. Ça va être de l’IA, un truc bien opaque avec tous les biais qu’on connaît de l’IA en général.

Nolwenn : On a plein d’exemples

Luc : Vas-y, parce que tout le monde ne les connaît pas nécessairement.

Nolwenn : Un exemple que j’ai vu récemment dans un journal scientifique, justement, qui revenait sur un article qui était publié dans ce même journal. C’était une IA pour identifier des tumeurs de peau et au final, le second article qui est sorti disait qu’il avait un biais au niveau de l’IA c’est qu’effectivement elle avait des résultats positifs sur un certain nombre d’images, mais qu’elle avait déduit que dès qu’il y avait une réglette, donc une petite règle sur le côté de l’image, c’est que c’était une tumeur.

Luc : Une petite règle qui permet aux gens qui examinent les images de se faire une idée de la dimension.

Nolwenn : De la taille de la tache sur la peau.

Nico : Forcément, quand tout allait bien, il n’y avait pas cette petite réglette. Et le robot a appris ça et tiens ! il y a une réglette, donc il y a un cancer.

Nolwenn : Ce qui entraîne son taux de faux positifs et de vrais positifs.

Luc : Il y a également aux États-Unis des exemples de transcriptions des inégalités sociales et raciales qui sont étudiées aux États-Unis, sur lesquelles il y a des statistiques qui transparaissent dans les IA.

Nico : C’est toujours dans le domaine médical. Ils avaient fait un algorithme pour essayer de trouver des traitements aux gens et ils se sont aperçus, en fait, que les Noirs étaient beaucoup moins bien traités que les Blancs par l’intelligence artificielle et, en regardant, effectivement c’étaient les données elles-mêmes de l’entrée de l’apprentissage qui étaient foireuses parce que, déjà de base, les Blancs étaient mieux soignés que les Noirs et le robot n’avait fait que reproduire ce que les médecins lui avaient donné en entrée.

Nolwenn : Voilà, voilà !

Nico : Du coup on risque d’avoir la même chose avec le fisc. Le robot va devoir être nourri avec des données et ça va être des gens humains qui vont dire « ça c’est bien ou ça ce n’est pas bien », ils vont appliquer les mêmes critères abjects ou imbéciles que d’habitude : en voyant une bagnole de sport forcément c’est de la fraude ou partir en vacances c’est aussi de la fraude, etc. Tout ça va retrouver à la fin avec des biais partout.

Luc : S’il y a des préjugés raciaux ou autres qui existent chez les inspecteurs, dans ce cas-là ils vont se retrouver également dans l’intelligence artificielle.

Nolwenn : Bientôt on ne pourra plus être Noir et riche sans être un voleur pour l’IA.

Nico : C’est ça !

Luc : Oui, c’est tout à fait probable. On a aussi ce risque du faux positif. On peut rappeler ce que c’est qu’un faux positif ?

Nico : Un faux positif c’est un voyant qui va s’allumer alors que la personne, en fait, n’avait pas grand-chose à avoir avec la choucroute, donc en l’occurrence ce n’était pas un fraudeur. Il peut y en avoir pas mal et, du coup, ça demande peut-être plus de boulot, noyer les inspecteurs sous le boulot, parce qu’il va leur falloir comprendre pourquoi le résultat rend positif, donc ça veut dire investiguer plus que si on fait le boulot manuellement déjà avant ; il va falloir comprendre l’algorithme et ça ce n’est pas inné.

Luc : Oui. Moi je suis vraiment beaucoup plus inquiet que ça parce que j’ai expérimenté personnellement et je pense que tout le monde connaît au moins quelqu’un à qui il est arrivé de se retrouver dans une situation indémerdable parce qu’il y a quelque part, dans une administration quelconque, quelqu’un qui a pris une mauvaise décision et il est impossible de faire marche arrière parce que personne n’admettra que c’est une mauvaise décision. Avec les faux positifs on a aussi ce risque de se retrouver avec des gens qui vont être en position d’accusé et qui n’arriveront à en sortir et à prouver qu’ils n’ont pas commis ce qu’on leur reproche parce que le système refusera d’admettre son erreur.

Nico : Et des fois ce sera trop tard parce que les personnes dont on parle là sont potentiellement des personnes vulnérables. Je pense que les algos ne vont pas être utilisés contre des personnes du CAC 40 mais contre des gens qui touchent le RSA [revenu de solidarité active] ou l’AAH [allocation aux adultes handicapés] ou autres, et ces personnes-là vont se retrouver coupées de toute ressource du jour au lendemain sans comprendre les décisions et n’auront carrément pas les moyens, ni financier ni moral ni tout ce qu’on veut pour aller essayer de s’opposer à ça et retrouver leurs droits. Je pense en particulier à un exemple en ce moment sur Twitter : une personne qui s’est retrouvée dans un imbroglio avec l’URSSAF qui a lui a coupé toutes vivres potentielles, la personne est handicapée, et c’est absolument indémerdable ; ça conduit dans des situations folles : elle est obligée de demander des dons pour survivre et sans possibilité de se défendre.

Luc : C’est très engageant tout ça. L’autre aspect qui inquiète dans les débats qu’il y a actuellement au Parlement, c’est la masse de données qui peut être récupérée et tous les aspects de la vie que ça peut toucher. Ils citent notamment les croyances religieuses, les appartenances syndicales, les opinions politiques.

Nolwenn : Les orientations sexuelles.

Luc : Et effectivement tout ça va être brassé et connu par les systèmes. Ils veulent mettre des obligations d’oubli pour que les informations dites non pertinentes soient effacées rapidement. Mais moi je pose la question : c’est quoi une information pertinente ? Ce n’est pas un truc qui est informatisable. Pertinent ce n’est pas une notion binaire !

Nico : Les deux critères qu’ils ont dans le projet de loi aujourd'hui c’est, en gros : si vous n’allumez pas le voyant on ne garde vos données que cinq jours, après on supprime, et si jamais vous allumez le voyant, on a 30 jours pour purger les données. On sait que forcément en pratique ils garderont un peu de données parce que ce n’est pas sur une donnée particulière que ça va s’allumer, c’est sur un ensemble de choses donc forcément il faut garder l’historique. Et ce n’est pas sur 30 jours qu’on va pouvoir se faire un avis sauf des cas très flagrants, effectivement une personne qui était en arrêt de maladie qui part en voyage à l’autre bout du monde, ça va s’allumer tout de suite. Mais, de manière générale, ils cherchent ses signaux faibles, donc ça va dire vraiment agréger sur des longues périodes pour comprendre comment la personne agit et trouver le moindre petit écart au changement de comportement pour dire « il y a un problème ».

Nolwenn : Donc tu es juste en train de nous dire que le projet de loi ne sera pas applicable en l’état ?

Nico : Oui. De toute façon tous les projets de ce type-là par le gouvernement ont toujours eu du plomb dans l’aile à ce niveau-là. Ils disent « on va supprimer les données » et on se rappelle de la fameuse main rouge en disant « ne vous inquiétez pas, on ne garde pas les adresses IP » et puis le jour où il y a eu un bug…

Luc : La main rouge ?

Nico : C’était un blocage en fait de certains sites internet et, quand vous visitiez certains sites, une main s’affichait disant « attention, c’est du terrorisme ou autre ». Il y a eu un bug dans la « matrice » entre guillemets. Il y a des gens lambda qui se sont retrouvés avec cette main rouge affichée et le gouvernement a dit : « On a effacé toutes les données, il y a eu un problème on a tout effacé ! — Comment ça effacé ? Ça veut dire que vous les stockiez ? Vous n’étiez pas censé le faire ! » Même ce qu’ils avaient dit dans la loi, ils n’ont pas été capables de respecter.

Luc : Il y a aussi cette question du fait que l’information elle-même n’est jamais univoque. Par exemple ils vont surveiller tout ce qui est activité économique. Par exemple, ils veulent traquer les gens qui vendent : des gens ont un boulot et, par ailleurs, ils vont avoir une activité commerciale en vendant par exemple des produits.

Nico : Sur Le Bon Coin ou eBay.

Luc : Oui, ce genre de choses. Du coup, rien que par ce que tu achètes et ce que tu vends on sait déjà énormément de choses de tes activités. On va toujours reprendre cet exemple frappant des préférences sexuelles. En fonction de ce que tu achètes, on peut peut-être se faire une idée et donc on peut se dire « eh bien oui tu peux peut-être à la fois faire un business illégal et être fan de sadomasochisme et cette information – je vends des trucs avec du cuir et des clous – c’est une information qui est pertinente par rapport au fisc mais c’est également une information qui est pertinente par rapport à la sexualité des gens ». On ne peut pas juste garder l'une des deux, ça n’a aucun sens. Même les informations qui seraient choisies pour être gardées peuvent être signifiantes à plein d’égards.
Un autre truc également : on sait que tout ce service de surveillance est déployé dans d’autres domaines. Aujourd’hui ça fait beaucoup débat sur cette question du fisc, on en a parlé, ils viennent juste de retirer le projet, mais Frontex [remplacé par l'Agence européenne de garde-frontières et de garde-côtes, NdT] qui est une organisation qui est là pour surveiller les frontières, arrêter les migrants en pleine eau et s’assurer que les « garde-côtes » entre guillemets libyens leur mettent la main dessus, ils avaient passé, pareil, un appel d’offres pour faire ce genre de surveillance. Du coup ce sont des entreprises privées qui répondent à ces appels d’offres.

Nico : Ça peut déraper assez vite. Là il y a le fisc, il y avait Frontex, il y avait aussi eu des demandes de la part de l’URSSAF à certaines époques qui demandaient justement d’avoir accès au train de vie des gens via leurs profils Facebook ou autres.

Luc : Il y a Pôle emploi qui voulait accéder notamment aux facturettes de téléphone pour savoir qui avait appelé qui et également les dépenses pour savoir si les gens étaient bien là où ils étaient censés être, s’ils ont bien appelé les employeurs et est-ce que leur train de vie correspond à l’argent qu’ils touchent.

Nico : Et est-ce qu’ils ne touchent pas de l’argent de la part de l’extérieur. Il y a des personnes au RSA, c’est le cas aujourd’hui, si vous êtes aidé par un tiers eh bien le RSA diminue d’autant. Quand on recevait de l’argent liquide ça ne voyait pas forcément. Là ils voulaient aller vérifier sur vos comptes si vous déposiez de l’argent pour le soustraire du RSA.

Nolwenn : C’est là qu’on se rend compte que le tout carte bancaire ce n’est pas forcément une très bonne idée.

Luc : Eh non ! Ces demandes avaient été refusées. Mais il y a encore plein de choses qui se passent au niveau de la Sécurité sociale. Actuellement c’est plutôt de la surveillance manuelle, donc les agents vont aller regarder sur les réseaux sociaux si les gens se sont barrés en vacances alors qu’ils sont malades.

Nico : Et sur des cas qu’ils ont déjà identifiés comme suspects, forcément qu’ils ne vont pas faire sur tous ou tirés au pif.

Luc : C’est le gros problème de cette surveillance de masse c’est que ça inverse la question de la culpabilité. D’un côté on a des agents qui utilisent des outils et les données laissées publiques par des gens pas très malins ou pas très renseignés et, de l’autre, on a un système qui surveille tout le monde tout le temps et qui, du coup, s’il décide qu’on est faux positif, qu’on est coupable, eh bien c’est à nous de prouver qu’on ne l’est pas et ça va être très compliqué.

Nolwenn : En plus, ça va être complètement à l’encontre de la présomption d’innocence. Il y a de ça et l’autre côté pervers que je vois venir c’est l’habituation à l’état de surveillance.

Luc : Oui.

Nolwenn : On sera tellement habitués à avoir des caméras partout – d'ailleurs on commence malheureusement à y être un peu trop habitués – qu’on va finir par ne même plus savoir à quel moment il faut qu’on se révolte ou pas.

Luc : Oui. En fait l’autocensure est déjà en place au travers de Google, il y a déjà plein de gens qui vont se brider sur les recherches qu’ils vont faire. Il y a des gens qui se disent « je ne peux plus photographier ce que je veux parce que mes photos partent directement sur Google quand je les prends avec mon téléphone ». Ça c’est déjà effectivement en place. Là on est par rapport à une surveillance étatique. Pour moi, ce qui est intéressant aussi, c’est de voir aussi à quel point ils ont besoin des GAFAM, des réseaux sociaux. Et ces temps-ci ils aiment bien, on l’a vu avec la loi sur la presse où ils disent « nous on va faire cracher les GAFAM », mais on voit qu’avec de genre de logique ils ont en même temps super besoin des GAFAM. Moi je ne crois pas à un État se lançant sérieusement dans une démarche pour dégommer les GAFAM parce que ce sont, au final, leurs meilleurs partenaires pour faire ce type de contrôle social.

Nico : On rappelle aussi du coup que comme c’est du social, autant c’est facile de se contrôler nous et de dire « voilà je ne vais pas mettre mes photos de vacances sur Internet ou autres », mais ce qu’il ne faut pas oublie c’est que les autres peuvent aussi mettre des données sur vous. Il suffit d’avoir quelqu’un qui va prendre une photo de vous en vacances et qui, du coup, n’est peut-être même pas Français, qui n’est même pas l’un de vos proches. C’est un autre touriste qui va mettre va mettre votre photo sur Internet, votre visage va être visible, ça va tout de suite alerter, mettre des voyants rouges partout. Vous avez beau contrôler très précautionneusement votre vie, vous ne savez pas ce que font les autres. Vous pouvez avoir des emmerdes parce que quelqu’un a mis une photo de vous sur Internet.

Nolwenn : La reconnaissance faciale, bonjour !

Luc : Je ne vois pas de quoi tu parles. C’est pour ça qu’on fait de la radio comme ça on ne peut pas nous reconnaître !

Nico : Ça marche aussi avec le timbre de la voix. Ne t’inquiète pas !

Luc : Bon. On est foutus, alors OK ! On va se cacher sous notre lit pendant toute la semaine. On se retrouve la semaine prochaine.

Nolwenn : À la semaine prochaine.

Nico : Bonne semaine à tous.