Cathy O'Neil : pour une éthique des algorithmes - La Méthode scientifique

Titre : Cathy O'Neil : pour une éthique des algorithmes
Intervenants : Cathy O'Neil - Marguerite Capelle, traductrice - Nicolas Martin
Lieu : Émission La Méthode scientifique - France Culture
Date : décembre 2018
Durée : 1 h
Site de l'émission ou Podcast
Licence de la transcription : Verbatim
Illustration : Cathy O'Neil at Google Cambridge, Wikimedia Commons - Licence Creative Commons Attribution-Share Alike 4.0 International. Logo France Culture Wikipédia
NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Description

Quel est son parcours et d’où lui est venue sa passion pour les mathématiques ? Pourquoi appelle-t-elle les algorithmes des « armes de destruction mathématiques » ? Comment ces nouveaux pouvoirs algorithmiques transforment-ils les pratiques professionnelles de la société ?

Transcription

Nicolas Martin : Merci Garrigou-Lagrange.
Quoi de plus neutre qu’un ordinateur ? Quoi de plus a priori objectif qu’une suite de calculs, qu’une série d’opérations mathématiques ? Quoi de plus éloigné d’une opinion, finalement, qu’un algorithme ? Eh bien tout, justement. Parce qu’ils sont programmés par des humains qui sont eux perclus de biais, parce qu’ils tentent d’objectiver des réalités qui sont plus complexes que ce que peut décrire une seule suite mathématique, parce qu’enfin, derrière chaque algorithme, il y a une intention et qu’une intention n’est pas neutre. Pour notre invitée du jour, les algorithmes sont devenus des weapons of math destruction, des armes de destruction mathématique.
La mathématicienne, informaticienne et activiste Cathy O'Neil est notre toute dernière invitée de l’année. Bienvenue dans La Méthode scientifique. Bonjour Cathy O'Neil.

Cathy O'Neil : Hi !

Nicolas Martin : Hello. Mille mercis de nous faire le plaisir d’être avec nous pour cette dernière émission de l’année. Bonjour Marguerite Capelle.

Marguerite Capelle : Bonjour.

Nicolas Martin : C’est vous qui allez assurer la traduction tout au long de cette heure, merci à vous d’être ici.
Cathy O'Neil, votre nom a souvent été prononcé à ce micro dès qu’il a été question d’algorithmique, de justice numérique, notamment sur la question sensible des algorithmes prédictifs. Nous allons retracer votre parcours et vos combats tout au long de cette heure. Mais pour commencer j’ai une question : votre livre manifeste Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy qui a été traduit et publié aux Éditions Les Arènes au mois de novembre dernier sous le titre Algorithmes, la bombe à retardement, mais en anglais vous dites : weapons of math destruction en jouant sur le jeu de mots mass et math. Des algorithmes, des outils, des armes de destruction massive ou mathématique, c’est très fort comme image de comparer les algorithmes à des bombes nucléaires.

Cathy O'Neil traduite par Marguerite Capelle : D’abord je voudrais vous remercier de m’avoir invitée, je suis très contente d’être ici. Je suis mathématicienne, j’adore vraiment les mathématiques et, d’une certaine façon, j’ai envie de les défendre. De défendre l’intégrité, la confiance qu’on peut avoir dans les mathématiques, l’honneur des mathématiques en quelque sorte. Ce que j’ai vu se produire à la fois dans la finance et dans la data science quand j’ai travaillé dans ces domaines, c’est une façon d’abuser des mathématiques. Des gens construisent des algorithmes qui ne sont pas mathématiques, qui ne sont pas des maths, qui sont, en fait, des algorithmes qui ciblent les individus de façon injuste et quand ces personnes posent des questions on leur répond : « Vous ne pouvez pas comprendre, ce sont des maths ! » Donc en fait on en a fait une arme. Ce sont des mathématiques utilisées comme des armes et c’est une façon de les utiliser comme des armes qui intimident les gens et contre les gens. Donc c’est vraiment la manière dont j’ai commencé à réfléchir à ce concept d’armes de destruction mathématique.
L’autre point, c’est que je pense qu’elles sont vraiment extrêmement destructrices à une échelle massive et, en tout cas dans leur potentiel, elles le sont. Donc ça fait aussi partie de ce choix de jeu de mots parce que, de façon surprenante, ces armes ont vraiment un pouvoir extrêmement puissant si on les laisse fonctionner à plein.

Nicolas Martin : Votre livre, Cathy O’Neil, est sorti il y a plus de deux ans, presque trois ans, en anglais aux États-Unis, il a eu un gros impact dans le monde de l’informatique et du numérique. Est-ce que vous avez le sentiment qu’il a aidé, qu’il a initié en tout cas un début de prise de conscience de la part des citoyens ?

Cathy O'Neil traduite par Marguerite Capelle : Oui. Mon livre a été publié juste avant les élections de 2016. L’objectif principal que j’avais pour ce livre, c’était de rompre cette confiance aveugle que les gens ont dans les algorithmes et dans la révolution du big data, parce qu’encore en fois il y a cette idée d’intimider les gens avec les mathématiques. Les gens ont spontanément confiance dans les mathématiques et dans les algorithmes et pensent que la data science est forcément objective. Je voulais montrer qu’il ne faut pas faire confiance aveuglément à cette science des données, qu’il faut, en fait, remettre de la science dans la science des données. Il faut trouver des preuves que cela fonctionne, en fait, exactement comme on le souhaite.

Nicolas Martin : Entre temps vous avez été un peu confirmée ou assistée par le scandale Cambridge Analytica. Pour autant, on a l’impression que les scandales autour des big data se succèdent, s’accumulent et que ça ne change pas la pratique des citoyens, que les citoyens continuent à avoir, finalement, une sorte de confiance assez aveugle ou, en tout cas, de confort numérique à utiliser un certain nombre de sites dont on sait pourtant qu’ils utilisent des algorithmes qui vont jouer contre eux.

Cathy O'Neil traduite par Marguerite Capelle : En fait, la plupart des exemples que je donne dans mon livre ont relativement peu de choses à voir avec les sites et, à vrai dire, ne parlent pas des données directement. C’est évidemment un mensonge puisque les données sont un ingrédient de tous les algorithmes, mais ce que je voulais mettre en lumière c’est que les exemples, dans mon livre, viennent plutôt de la différence de pouvoir qu’il y a entre deux personnes.
Par exemple quand vous voulez un emploi, on vous pose des questions et vos droits à la vie privée n’existent pas. Quand vous voulez aller à l’université, quand vous voulez une carte de crédit, une police d’assurance, etc., vous êtes obligé de répondre aux questions. Il y a des situations en ligne — les publicités ciblées, les médias sociaux, etc., la publicité prédatrice pour laquelle c’est évidemment intéressant aussi de parler de la façon dont les données sont collectées et utilisées contre nous —, mais de mon point de vue, c’est plus une question de comment les données sont utilisées plutôt que la question de savoir comment ces données sont collectées au départ. Bien sûr, une fois qu’on a dit ça, il faut préciser qu’aux États-Unis on a des lois de protection des données qui sont très très faibles alors qu’en Europe elles sont bien meilleures. Le dernier exemple en date est la loi européenne sur la protection des données qui a été votée [Règlement européen sur la protection des données], mais ça n’est pas le seul. En fait, aux États-Unis, nous sommes déjà en difficulté par rapport à ça. Nous n’avons aucun espoir là-dessus, nous vendons nos données.

Nicolas Martin : Vous pensez aujourd’hui que la réglementation européenne, justement le RGPD1, a vraiment permis en tout cas un début de protection des données des citoyens ou, a minima, une prise de conscience. J’insiste sur la prise de conscience parce que notre sentiment – ici, dans La Méthode scientifique, on parle souvent de la question des algorithmes et de la justice numérique – c’est que finalement les citoyens ne sont pas très préoccupés par ça, que les scandales ont beau s’accumuler, leurs pratiques numériques, leur vie numérique restent les mêmes et on a l’impression que tous ces problèmes sont un peu lointains, que ça arrive en Chine où on note les citoyens mais que ça n’arrivera jamais vraiment chez nous et que, finalement, la vie numérique peut continuer telle qu’on la pratique encore aujourd’hui.

Cathy O'Neil traduite par Marguerite Capelle : Je ne crois pas que la loi européenne traite la question des algorithmes en fait. Il y a peut-être eu quelques petites mentions théoriques qui pourraient être appliquées d’une manière qui pourrait être satisfaisante, mais, en fait, même les parties les plus intéressantes de la loi qui parlent vraiment de l’explication des algorithmes ne sont pas particulièrement encourageantes. En tant qu’ancienne analyste de données, ce ne serait pas très difficile pour moi de fournir une explication à un algorithme sans que celle-ci veuille dire grand-chose. Le GDPR [General Data Protection Regulation] se consacre principalement à la protection des données privées. Je pense que les Européens pensent avoir un droit à la vie privée sur leurs données mais ne comprennent pas vraiment que la question c’est comment ces données peuvent être utilisées contre eux. C’est une question de rapport de pouvoir, de rapport de forces.
Quand on demande à une entreprise une faveur, un service, et qu’on peut vous le refuser, que cette entreprise a du pouvoir et que c’est sur la base d’un algorithme qu’on vous refuse cette faveur, c’est là qu’il y a un problème. Et vous pouvez voir les polices prédictives différemment de demander un service, par exemple les services de police dans votre quartier ; en France aussi on commence à utiliser les algorithmes prédictifs pour les services de police dans les quartiers. C’est un véritable problème aux États-Unis. On a tout un historique d’inégalités de l’action policière parce qu’on utilise des algorithmes. En fait on ne sait même pas ce qu’on attend de ces services publics, mais ce qu’on en attend, en réalité, c’est de l’équité et de la sécurité en particulier dans ces services policiers rendus en théorie par le gouvernement.

Nicolas Martin : Quels sont selon vous, Cathy O’Neil, les algorithmes qui sont aujourd’hui les plus inquiétants, qui sont les plus problématiques et desquels les citoyens devraient se méfier le plus ?

Cathy O'Neil traduite par Marguerite Capelle : Je vais commencer par ceux qui m’inquiètent le plus moi, parce que je ne suis pas experte sur ce qui se passe en Europe et en France en particulier. Les choses qui m’inquiètent le plus et qui sont dans le sous-titre de mon livre, c’est l’augmentation des inégalités. La raison c’est que pour avoir vu fonctionner les choses en tant que data scientist moi-même, ce que j’ai vu c’est qu’on dressait, en fait, un profil des gens et qu’on les catégorisait en fonction de leur classe en particulier. C’est-à-dire en tant que consommateurs ont-ils de l’argent ? Est-ce qu’ils sont Blancs ? Est-ce qu’ils sont éduqués ? Est-ce qu’ils vivent au bon endroit ? Est-ce qu’ils ont acheté des choses par le passé ? À quelle classe sociale est-ce qu’ils appartiennent ? Donc on peut voir les choses comme ceux qui ont des opportunités, ceux qui ont de la chance et ceux qui n’en ont pas. Vous répartissez les gens sur une échelle et il y a une division au-delà de laquelle les gens qui ont de la chance peuvent avoir des opportunités et, si vous êtes en dessous de cette ligne, vous n’avez rien. Ça semble très général, mais en fait, ça fonctionne presque toujours comme ça, c’est pour ça que je le dis. C’est la question de savoir qui va avoir une carte de crédit, qui va avoir un bon taux de crédit, qui va avoir une bonne assurance, qui va pouvoir aller à l’université, qui va obtenir un emploi. C’est toujours décidé de cette manière-là et de plus en plus de ces décisions sont prises suivant cette division, cette catégorisation des gens. Donc si vous faites partie des gens qui ont le plus d’opportunités vous avez plus d’opportunités et ceux qui en ont le moins sont maintenus dans cette situation. Beaucoup de moments de nos vies, quasiment tout le temps dans nos vies, le résultat c’est d’augmenter les inégalités.
La partie la plus insidieuse de ça, l’aspect le plus insidieux, c’est que les entités qui ont créé un algorithme le voient comme un outil scientifique prédictif. Elles n’envisagent pas qu’il joue un rôle dans l’augmentation des inégalités ; elles optimisent simplement leur propre profit dans leur propre sphère et on ne peut pas leur en vouloir ; les entreprises veulent faire de l’argent, c’est leur rôle, c’est à ça que rime le capitalisme, la raison du capitalisme. Mais puisque c’est fait à très grande échelle, de manière similaire dans tous les secteurs, l’effet est extrêmement négatif.

Nicolas Martin : Que se passe-t-il quand ces algorithmes sont produits par la puissance publique ? En France on a un exemple qui a fait couler beaucoup d’encre : c’est un algorithme qui s’appelle Parcoursup qui est un algorithme qui est censé aider les étudiants à trouver des places à l’université quand ils sortent du lycée ; ça a fait énormément de scandale. C’est un algorithme qui a été accusé, justement, de créer des zones c’est-à-dire d’empêcher des étudiants qui viennent de Seine-Saint-Denis par exemple, qui est un quartier qui est plus défavorisé, d’avoir accès à des universités plus prestigieuses. On ne peut pas imaginer que sur ces algorithmes-là il y ait une intentionnalité qui soit dévoyée par le capitalisme puisque ce sont des algorithmes qui sont produits par la puissance publique. Comment expliquer que ces algorithmes-là soient défaillants également, Cathy O’Neil ?

Cathy O'Neil traduite par Marguerite Capelle : J’aimerais beaucoup en savoir davantage sur cet algorithme, c’est une expérience intéressante, merci de la mentionner.
Il y a deux manières d’envisager les choses.
La première c’est qu’aux gens qui ont déjà de la chance on leur donne davantage d’opportunités et que les gens qui en ont en moins en ont moins. Historiquement les gens comme vous, les hommes, s’en sortaient mieux dans les mathématiques et dans la technologie, donc en fait il faut le même genre de personnes puisque ce genre de personnes s’en sort bien. Les algorithmes, de façon systématique, ont tendance à répéter ce qui s’est passé. Si on utilise les précédents historiques de façon aveugle, sans trop y réfléchir, en faisant des prédictions sur les bases du passé, voilà ce qui se passe, ça reproduit les choses.
La deuxième interprétation c’est au contraire de dire : vous choisissez un chemin qui est inhabituel par rapport au type de profil que vous avez, comment est-ce qu’on peut vous aider ? Comment est-ce qu’on peut aider les gens à choisir une nouvelle voie et leur apporter du soutien au lieu d’aider ceux qui ont déjà des opportunités ? Ceux qui vont avoir des difficultés pourraient avoir accès à des ressources supplémentaires donc, en gros, donner plus d’opportunités aux gens qui en ont moins. C’est une approche assez inhabituelle et il faudrait qu’elle soit choisie de façon explicite comme objectif. Je ne sais pas quel est l’objectif qui a été choisi pour l’algorithme auquel vous faites référence ici en France, est-ce que c’est business as usual c’est-à-dire les hommes continuent à faire de la technologie et les femmes à se diriger vers des métiers qui payent moins et évidemment, dans ce cas-là, ça ne va pas.

Nicolas Martin : Ce qui est intéressant et ce que, vraiment, vous expliquez dans votre livre, Cathy O’Neil, c’est effectivement cela : la méprise est de penser que l’algorithme est une interprétation neutre du réel. Or l’algorithme, en prenant en compte, en intégrant dans ses calculs les faits majoritaires, finit par penser que ces faits majoritaires sont la normalité et donc ne font que les reproduire et les amplifier. C’est bien cela ?

Cathy O'Neil traduite par Marguerite Capelle : Je vais vous proposer un exemple de ce type de problème. Par exemple les données sur les actes criminels pour la police prédictive et aussi pour la prédiction de risques de récidive.
Revenons un petit peu en arrière, essayons de comprendre pourquoi ces scores de risques de récidive ont été créés. L’idée c’est que la justice était raciste, il y avait un manque d’objectivité, donc il s’agissait de rééquilibrer les choses avec un score scientifique. Il s’agissait de prédire le risque pour une personne d’être arrêtée dans les deux années qui suivaient sa sortie de prison. On peut se demander qu’est-ce qu’on va faire de cette notation ? Évidement, l’idée c’est que les gens qui ont un risque élevé de retourner en prison, un risque élevé de récidive, vont être punis plus longtemps, donc les gens sont punis de façon préventive pour quelque chose qu’ils n’ont pas encore fait et ça c’est déjà extrêmement discutable d’un point de vue philosophique. Mais au-delà de cette question de justice, il y a une question d’équité et le problème d’équité est réel.
La vérité, en tout cas aux États-Unis, c’est que nous arrêtons les gens pour toutes sortes de crimes non violents qui sont plutôt des signes de pauvreté et des problématiques systémiques plutôt que des crimes en tant que tels. Par exemple on arrête les gens qui ont des problèmes mentaux qui ne sont pas soignés ou les gens qui sont accros aux drogues ou juste les gens qui sont pauvres, ceux qui pissent sur le trottoir parce qu’ils n’ont pas de toilettes ou ceux qui resquillent dans le métro. Ce sont vraiment des crimes très mineurs, des délits très mineurs, qui justifient des arrestations, ce qui arrive de plus en plus aux gens pauvres et aussi aux gens issus des minorités. Donc il n’est pas surprenant de constater que les scores de risques de récidive de ces personnes, qui sont optimisés pour être les plus exacts possible, incluent des questions comme : avez-vous des problèmes, un historique de santé mentale ? Vivez-vous dans tel ou tel quartier ? Bénéficiez-vous de prestations sociales ? Etc. Forcément ces personnes vont être davantage ciblées par la police.
Pour résumer, la question de la police prédictive et du profilage des criminels continue, en fait, à amplifier et à propager l’historique raciste de la police et du fonctionnement de notre société. En fait, ça empêche les choses de changer à l’avenir en punissant à l’avance les personnes concernées.

Voix off : La Méthode scientifique – Nicolas Martin

Nicolas Martin : Vous écoutez La Méthode scientifique sur France culture.
Nous avons la chance et le plaisir de recevoir Cathy O’Neil tout au long de cette heure pour son ouvrage Algorithmes, la bombe à retardement, c’est aux éditions Les Arènes. J’aime bien redonner le titre original, parce que le titre original est peut-être un peu plus long, un peu plus dense et un peu plus explicite : Weapons of Math Destruction – mass non pas comme une masse, mais comme les mathématiques, des armes de destruction mathématique – How Big Data Increases Inequality and Threatens Democracy, c’est-à-dire qu’on en est effectivement à cet endroit où on pense que la démocratie, où Cathy O’Neil estime que la démocratie est en danger à cause de ces algorithmes.
J’aimerais qu’on comprenne un peu comment vous en êtes arrivée là, Cathy O’Neil, parce que votre parcours professionnel est assez passionnant et permet peut-être de comprendre comment s’est structurée votre pensée, votre discours critique autour de ces algorithmes. Vous êtes mathématicienne de formation, diplômée de Harvard où vous travaillez sur la théorie algébrique des nombres. Vous allez faire de la recherche en mathématiques pendant une dizaine d’années. C’est intéressant parce que vous expliquez que le manque de culture, de connaissances en mathématiques, est l’une des sources de la confiance aveugle en l’algorithmique et peut-être du manque de défiance envers ces algorithmes. Est-ce que vous pensez que renforcer la culture mathématique aujourd’hui ce serait une des solutions citoyennes pour faire en sorte que les citoyens soient plus vigilants, plus protégés contre ces algorithmes ?

Cathy O'Neil traduite par Marguerite Capelle : Je veux mettre en lumière le fait que je ne veux absolument pas suggérer dans mon livre que tout le monde doit faire des maths et devenir un mathématicien. Évidemment, moi je n’ai pas peur des mathématiques parce que je suis une mathématicienne. Ça ne veut pas dire que toute la société doit être comme moi. Ce que je suggère, en fait, c’est qu’on ne devrait pas être impressionné par un côté potion magique que pourraient avoir les mathématiques. Je veux juste qu’on simplifie les choses et qu’on réalise qu’il n’y a pas de mystère en réalité, que les mathématiques sont des systèmes automatisés en fait.
Utilisons une métaphore. Si les Martiens débarquaient aujourd’hui de leur planète sur un vaisseau spatial, qu'ils nous disaient qu’ils avaient un moyen de nous dire quels enseignants sont bien et quels enseignants sont mauvais pour nous et qu’ils allaient nous donner un score, une notation des enseignants et que nous pourrions virer ceux qui étaient mauvais, eh bien nous pourrions poser la question : comment est-ce qu’on vous fait confiance ? Pourquoi est-ce qu’on fait confiance à votre système de notation ? Et si les Martiens nous répondaient : « Faites-nous confiance parce que nous sommes des Martiens », ce serait risible et on se moquerait d’eux. En fait, c’est exactement ce qui se passe, sauf que la réponse a été : « Vous pouvez nous faire confiance parce que ce sont des mathématiques, donc ne posez pas de question ! »
Le système d’évaluation des enseignants auxquels je fais allusion s’est avéré, finalement, à peine mieux qu’un système complètement aléatoire et il a continué à fonctionner sans être remis en question pendant des années parce que les gens avaient l’impression qu’ils n’avaient pas le droit de le remettre en cause et de demander des preuves qu’il était équitable, qu’il faisait le travail comme il fallait et qu’il était légal.
Récemment, six enseignants qui avaient été renvoyés en fonction de leur note ont intenté un procès et ils ont gagné. Personne n’était capable d’expliquer l’algorithme qui avait conduit à leur renvoi donc on a conclu que leur droit à un procès équitable n’était pas respecté. En fait, ces algorithmes mathématiques ont une capacité à s’auto-protéger mais pas pour des bonnes raisons. Pourquoi est-ce qu’on ne donnerait pas cette capacité à des Martiens, pourquoi est-ce qu’on la donnerait à des mathématiciens ?
Pour conclure, je voudrais ajouter que je ne propose pas aux gens de devenir tous des mathématiciens, je les invite à revendiquer leurs droits ; c’est un combat politique.

Nicolas Martin : C’est assez intéressant cet exemple que vous évoquez à l’instant Cathy O’Neil, parce que c'est cet outil d’évaluation qui s’appelle 2, qui a été mis en place à la fin des années 2009-2010 dans le district scolaire de Washington et qui avait pour objectif d’optimiser la compétence du staff de professeurs en excluant les professeurs qui auraient les notes les plus basses. Or, très vite on s’est rendu compte que certains des professeurs qui étaient exclus n’étaient pas des mauvais professeurs, mais qu’il y avait un biais dans cet algorithme. Est-ce que vous pouvez nous expliquer cet exemple qui est assez parlant, Cathy O’Neil ?

Cathy O'Neil traduite par Marguerite Capelle : Je devrais d’abord préciser que c’était un système secret, que personne, y compris le ministère de l’Éducation, les gens qui géraient les écoles de Washington, n’avait accès au système. Les notes étaient données des années après la fin des cours donc elles ne permettaient absolument pas de s’améliorer. Les explications que les enseignants ont reçues sur la façon dont les notes avaient été faites, c’était principalement que les résultats de leurs élèves devaient être les plus élevés possible à l’examen et notamment plus élevés qu’attendus. Une façon de voir les choses c’était, en gros, qu’il s’agissait d’encourager les enseignants à éduquer exclusivement pour réussir les examens, ce qui n’est pas la façon la plus épanouissante de développer une éducation.

En fait, on peut aussi tricher sur le système ; c’est exactement ce qui s’est passé. Les responsables d’écoles donnaient des augmentations à ceux qui obtenaient des meilleurs scores aux examens, aux enseignants dont les élèves avaient des meilleurs scores, donc c’était vraiment une incitation à tricher et c’est ce qui s’est passé. Bien sûr, le pire, c’est que non seulement que cette incitation à tricher a fonctionné mais qu’en plus, l’année suivante, on attendait des élèves qui passaient dans la classe suivante des résultats évidemment plus élevés et, du coup, les enseignants de l’année suivante étaient très mal notés parce que vous, l’année précédente, vous aviez triché.

Nicolas Martin : Ça c’était pour un des exemples dans le cadre de l’éducation. J’aimerais qu’on revienne quelques instants à votre parcours puisque, après avoir fait un peu moins d’une dizaine d’années de recherche en mathématiques, à un moment donné vous choisissez de devenir tradeuse à Wall Street, c’est-à-dire de passer dans le milieu de la finance, précisément analyste quantitative chez D. E. Shaw. Parlez-nous de cette expérience. Qu’est-ce qui vous engage à aller, d’un seul coup, faire de la finance, Cathy O’Neil ?

Cathy O'Neil traduite par Marguerite Capelle : Je voulais travailler dans les affaires ; j’adorais New-York, je voulais faire partie du paysage new-yorkais. C’était avant la crise de 2008, ça semblait un travail formidable que je pouvais avoir parce que j’avais ces compétences en mathématiques. Je ne savais pas grand-chose de la finance ou de la programmation, mais ils m’ont donné ce travail en juin 2007 et, en fait, la crise du crédit a éclaté en août, en tout cas en interne dans le monde de la finance. Il a fallu une année de plus pour que le monde entier s’en rende compte et que ça devienne vraiment une problématique connue de façon plus générale. Du coup ça m’a donné, pendant ce temps-là, une vision de comment ça fonctionnait en interne. Je dois préciser que je n’avais pas une éducation très complète. La seule chose que je connaissais c’était les mathématiques. Je ne connaissais rien à la politique, à la sociologie. Donc ce que j’ai vu, en fait, m’a surprise, m’a choquée et m’a fait perdre mes illusions. J’avais vraiment une vision naïve. En rejoignant le secteur des finances je pensais que les mathématiques pouvaient être utilisées pour clarifier les choses, pour aider les marchés à mieux fonctionner. Mais pendant les deux années que j’ai passées chez D. E. Shaw j’ai vu, à cause de tout ce qui est arrivé, que les notations et les algorithmes utilisés étaient des mensonges mathématiques qui étaient simplement utilisés pour maximiser le profit.

Nicolas Martin : Vous écrivez : « Grâce aux extraordinaires pouvoirs que je vénérais tant, les mathématiques s’étaient associées à la technologie pour décupler le chaos et le malheur, conférant une ampleur et une efficacité redoutable à des systèmes que je savais désormais défectueux. » C’est l’histoire d’une déception personnelle, d’une désillusion par rapport à ce milieu qui était le vôtre, à ce milieu intellectuel qui était le vôtre, Cathy O’Neil ?

Cathy O'Neil traduite par Marguerite Capelle : Oui. D’un point de vue personnel, c’est quelque chose qui m’a vraiment fait honte ; j’avais vraiment du mal à dormir et j’avais mal à l’estomac. Et encore une fois, naïvement, j’ai voulu essayer de résoudre le problème que j’avais pu constater avec davantage encore de mathématiques. Je me suis dit : on a besoin d’un meilleur modèle d’analyse des risques et ça ne se reproduira pas. J’ai quitté le fonds d’investissement pour travailler dans une agence d’évaluation des risques, sur des modèles d’évaluation des risques qui étaient exactement les modèles qui avaient failli dans le cadre de la crise de 2008. Très rapidement, en développant de nouveaux modèles, je me suis rendu compte que les gens ne voulaient pas s’en servir parce que ça risquait de mettre en lumière le fait qu’ils acceptaient beaucoup plus de risques qu’ils n’étaient prêts à le reconnaître, tout simplement ; en fait, ils ne se souciaient pas de ces risques parce qu’ils étaient trop gros pour faire faillite. C’est le moment où je me suis tournée vers la politique, où je suis devenue plus politique ; je suis devenue une militante et je me suis dit : ce n’est pas un problème mathématique, c’est un problème politique ! J’ai donc quitté la finance peu de temps après ça et j’ai rejoint le mouvement Occupy Wall Street3.

Nicolas Martin : Vous êtes passée un instant aussi par une autre case, vous êtes devenue data scientist dans le secteur de la publicité ciblée en ligne.

Cathy O'Neil traduite par Marguerite Capelle : J’avais besoin de travailler. À ce moment-là j’avais trois enfants, on vivait à New-York, mon mari est un mathématicien qui travaille à l’université. J’avais un travail qui me permettait de faire techniquement à peu près la même chose, c’est-à-dire qu’au lieu de faire des prédictions sur les marchés je faisais des prédictions sur les comportements humains. Au début, je n’ai pas eu le sentiment de contribuer à un système absolument atroce comme c’était le cas quand j’étais dans la finance jusqu’à ce que mes amis universitaires, une amie que j’avais rencontrée à l’université, qui gérait une école à Brooklyn, m’a parlé de ce système d’évaluation des enseignants. Elle m’a dit : « Je ne comprends pas ». Je lui ai dit : « Eh bien puisque je suis mathématicienne je vais t’expliquer, demande la formule ». Elle a posé la question et on lui a systématiquement répondu : « Ce sont des maths, vous ne pouvez pas comprendre ! » C’est là où j’ai compris que c’étaient des mathématiques utilisées comme une arme et qu’il ne s’agissait plus de finance, cette fois, mais bien de science des données. Donc c’est là où j’ai commencé à bloguer sur ces questions-là et où j’ai commencé à parler des exemples les plus flippants. Des lecteurs m’ont écrit, m’ont envoyé des informations par exemple sur la police prédictive, sur les scores de crédit, sur la publicité prédatrice. En fait toutes ces choses-là se produisaient dans mon travail, dans le travail que je faisais, un travail de bureau dans la publicité.
En fait, ce que je faisais c’est que je classais les humains le long d’un spectre et je choisissais ceux qui avaient plus ou moins d’opportunités en tant que consommateurs. Je me servais de la démographie pour ça, de statistiques démographiques. Quand un investisseur intéressé dans mon entreprise est venu nous rendre visite et qu’il a présenté sa vision de l’avenir de la publicité en ligne, il nous a dit : « J’ai hâte de voir en ligne uniquement des offres pour des jet skis et pour des voyages dans les îles Caraïbes. J’en ai marre de voir des publicités pour l’université de Phoenix parce que ça ne s’adresse pas à des gens comme moi ». Je n’avais aucune idée de ce qu’était l’université de Phoenix ; en fait, il s’agit d’une des universités à but lucratif les plus puissantes aux États-Unis et qui était numéro 1 en ligne des publicités sur Google à ce moment-là. Ça représentait un budget de publicité absolument hallucinant, des millions de dollars et je n’avais pas conscience de ça, parce qu’évidemment, moi je ne faisais pas partie des perdants de l’histoire et cette publicité était destinée aux perdants.

Nicolas Martin : À quel moment se fait la bascule, la prise de conscience et le passage à l’activisme, au militantisme. Vous disiez que vous avez rejoint Occupy Wall Street, également l’organisation de réunions de l'Alternative Banking Working Group à l’université de Columbia à New-York. Comment se fait le déclic, en fait, Cathy O’Neil ?

Cathy O'Neil traduite par Marguerite Capelle : C’est moi qui ai lancé le groupe Alternative Banking à Columbia, on se retrouve toujours, d’ailleurs je les vois ce dimanche ; on se rencontre une fois par semaine. L’objectif de ce groupe était de pousser à des réformes financières et de proposer des mesures. C’est comme ça que nous avons imaginé les choses au début du mouvement Occupy : qu’est-ce que devraient être les nouvelles règles du système financier ? Bien sûr, le groupe est extrêmement divers en termes d'âges, de genres, de races, etc. ; c’est un groupe extrêmement intéressant de gens très intelligents qui ont envie de comprendre la finance, certains travaillent dans la finance, d’autres non, certains étaient des enseignants à la retraite, il y avait même des SDF ; c’était très divers. Quand les gens sortent du sujet de la finance et commencent à parler de genre, de classe, de sexe, je me suis vue, moi, dire : arrêtez de changer de sujet ! En les rencontrant toutes les semaines, je pense que ce sont eux qui m’ont apporté une culture, qui m’ont éduquée en quelque sorte parce que j’ai commencé ce groupe, ces réunions, pour parler uniquement de la finance et des mathématiques et, en fait, j’ai aussi commencé à découvrir d’autres prismes et à comprendre les phénomènes sociologiques sous-jacents.
Je pense que les moments où j’ai réalisé vraiment à quel point j’apprenais des choses c’est quand on a commencé à discuter des prisons à but lucratif, des prisons privées. C’est un système américain dans lequel il y a des contrats entre les prisons et des entreprises qui gèrent des prisons, qui leur garantissent un certain nombre de prisonniers pour lesquels elles reçoivent des compensations : elles sont payées. C’est un système ridicule, les gens sont traités de façon complètement inhumaine. D’ailleurs, au passage, il n’y a vraiment aucun travail de réinsertion : il s’agit vraiment de garder les gens enfermés comme du bétail. C’est purement capitaliste et c’est un système extrêmement dégradant, raciste et classiste qui est manifestement corrompu. Ce genre de choses n’aurait pas pu se produire dans le monde, dans la vision idéaliste du monde dans lequel je croyais qu’on vivait quand je travaillais comme analyste dans la finance : un monde qui était propre, où tout était bien structuré, organisé ; on cherchait simplement des tendances, on cherchait à optimiser le fonctionnement du marché.
Le modèle ne prétend pas explicitement que les choses sont équitables, mais il y a un mythe de la méritocratie quand vous travaillez dans la finance ; il y a cette idée qu’on est là parce qu’on est bon et parce qu’on mérite de gagner tout cet argent. Les choses ont du sens, ça fonctionne. Et quand vous mettez ça en balance avec ce qui se passe dans ces prisons à but lucratif, par exemple, là on comprend que non, rien n’a de sens.

Nicolas Martin : Est-ce que vous diriez que ce mouvement Occupy Wall Street, qui a suscité un certain nombre d’espoirs, qui a ouvert un certain nombre de portes ou en tout cas de perspectives politiques, a abouti aujourd’hui à quelque chose ? Aujourd’hui, en 2018, où on se rend compte que les profits qui ont été réalisés par Wall Street, par le CAC 40 en France, ont repris les niveaux, voire augmenté, dépassé les niveaux de profit qu’il y avait avant la crise ?

Cathy O'Neil traduite par Marguerite Capelle : Je crois que c’est assez évident que l’objectif principal qu’on s’était fixé dans ce groupe a échoué : nous n’avons pas vu de réforme de la finance. Les réformes qui ont été faites étaient extrêmement insuffisantes, c’était mieux que rien à l’époque, mais aujourd’hui c’est pire, en fait, que rien, parce que maintenant les gens peuvent se plaindre sans les garanties d’une justice équitable. Les gens ne sont pas en mesure d’économiser pour leur retraite. Les retraites sont complètement liées aux marchés, c’est donc une excuse politique pour renforcer les marchés sans aucune bonne raison. Donc tout va mal !
Ce qui se passe aujourd’hui avec la finance est terrible, mais l’argument que j’ai envie de donner c’est que l’esprit d’Occupy, l’esprit d’activisme, par contre, lui a été une réussite. Ça a mis les gens en marche ; ça a rallumé leur prise de conscience et ça a créé un réseau extrêmement concret de militants, sans parler de l’éducation que nous avons pu partager, moi et des tas d’autres gens, de tout ce que nous avons appris. J’irais jusqu’à dire que la Marche des Femmes4 et tous ces mouvements de résistance sont liés, en fait, à Occupy ; c’est grâce à Occupy. Ça a lancé plus généralement une attitude qui conduit à exiger que nos droits soient respectés et sans attendre, sans rien faire.

Nicolas Martin : Mathematics Works So Well, mais pas tant que ça pour les algorithmes, manifestement, puisque c’est notre sujet aujourd’hui, c’était un morceau, Mathematics de Van Der Graaf Generator.
Nous parlons d’algorithmes avec Cathy O’Neil qui est ici avec nous, qui est mathématicienne, data scientist et militante, auteure de Algorithmes, la bombe à retardement aux éditions des Arènes, qui nous fait le plaisir d’être avec nous aujourd’hui.
C’est Marguerite Capelle qui assure la traduction tout au long de cette heure.
On va en venir à ces algorithmes et surtout essayer de comprendre exactement comment s’organisent ces biais autour des algorithmes et comment finalement les mathématiques, qui sont censées être le langage le plus pur et le plus neutre de description du réel peuvent devenir faussées. Vous écrivez, Cathy O’Neil, dans votre livre : « On nous classe avec des formules secrètes que nous ne comprenons pas et qui n’offrent pas souvent des systèmes de recours ». La question se pose donc : et si les algorithmes étaient faux ? Comment est-ce qu’on peut qualifier un algorithme de faux ?

Cathy O'Neil traduite par Marguerite Capelle : Avant de donner un exemple d’algorithme faux, ce qui est assez facile à faire, je vais expliquer ce que c’est qu’un algorithme avec un exemple très simple que tout le monde peut comprendre.
Ce que je dis, en fait, c’est qu’on utilise tous des algorithmes au quotidien. Les algorithmes sont une manière d’utiliser des tendances historiques pour prédire ce qui va se passer et la seule chose dont vous avez besoin ce sont des données historiques ; ça peut être simplement des souvenirs dans votre tête, se souvenir de comment les choses ont pu fonctionner par le passé et essayer de prédire ce qui fait que quelque chose fonctionne. Quelque chose qui a conduit à une réussite dans le passé a des chances de produire une nouvelle réussite dans le futur. Par exemple alimenter les enfants. Moi, quand je cuisine pour ma famille, j’ai beaucoup de souvenirs sur ce que mes enfants aiment manger, ce qu’ils veulent bien manger, à quel point est-ce qu’ils apprécient. J’ai aussi, évidemment, les ingrédients dont le dispose. Une autre donnée c’est le temps dont je dispose. Tout ça ce sont des données. À partir des tendances historiques, des souvenirs que je peux avoir sur ces questions-là, je décide quoi cuisiner. Je cuisine et ensuite nous mangeons en famille et là c’est moi qui définis – et c’est ça qui est important – si c’était une réussite ou pas. Pour moi, c’est réussi si mes enfants ont mangé des légumes ; ils n’en ont peut-être pas mangé assez, mais ils ont mangé des légumes. Donc en fait, là c’est moi qui décide en fonction de mes propres priorités que je projette sur ma famille ; c’est moi qui décide ce qui est important. Ce n’est pas une vérité mathématique, ce n’est pas objectif, c’est mon opinion que j’inclus, que je projette dans cet algorithme. J’appelle ça un algorithme parce que ce n’est pas quelque chose que je fais une fois, c’est quelque chose que je fais au quotidien, donc je mets à jour mon algorithme à partir des nouvelles informations dont je dispose et je l’optimise pour réussir au mieux le menu que je propose à ma famille, ce qui a pu rater par le passé ou ce qui a pu réussir.
Évidemment, pour mon plus jeune fils qui a dix ans et qui adore le Nutella, un repas extrêmement réussi, si c’était lui qui était responsable de l’évaluer, le critère serait est-ce que j’ai mangé ou pas du Nutella ? Donc si ça c’était la définition de l’objectif atteint qu’on retenait pour notre algorithme, on aurait un résultat complètement différent qui ressemblerait plus à nos petits déjeuners d'ailleurs, où il y a beaucoup de Nutella.
Pour revenir à ce que je voulais dire, le premier point c’est que c’est une opinion, la mienne ou celle de mon fils, mais en tout cas c’est un point de vue et c’est toujours vrai : quel que soit l’algorithme, la personne qui le développe, qui construit cet algorithme, décide de ce que va être le critère de réussite ou pas. Et ce n’est jamais objectif, c’est ce qui lui profite à elle.
Et le deuxième point c’est que la raison pour laquelle c’est moi qui décide et pas mon fils c’est que c’est moi qui ai le pouvoir et donc ça aussi c’est systématique. Ce sont les gens qui ont le pouvoir qui décident ce qui est un objectif atteint, un algorithme qui obtient un succès. Et nous, les gens qui sommes partie prenante du système, qui sommes les cibles du système, nous espérons simplement que leur définition de la réussite nous conviendra aussi et souvent ce n’est pas le cas.

Exemple du biais qu’il peut y avoir dans les algorithmes : récemment on a parlé d’Amazon qui développait un algorithme de recrutement ; c’était pour des postes d’ingénieur. Ils ont utilisé leurs propres données, donc tous les gens qui avaient déjà postulé à des postes d’ingénieur chez Amazon, les gens qui avaient eu un poste, les gens qui étaient restés, ceux qui avaient plus ou moins réussi dans leur poste. Il faut être précis, évidemment, sur ce que ça signifiait d’avoir réussi dans leur poste. Ce que j’imagine, parce que c’est souvent fait comme ça, c’est qu’ils ont associé la durée d’emploi des personnes, le nombre de promotions qu’elles avaient eues, etc. Tout ça semble assez raisonnable, ils ont utilisé leurs propres données et une définition d’une carrière réussie qui semble assez raisonnable. Évidemment, devinez quoi ! Le résultat étaient sexiste. Ils ont été assez malins, quand même, pour tester l’algorithme qu’ils avaient produit et ils se sont aperçus que les CV des femmes étaient déclassés simplement parce que les femmes avaient, par exemple, suivi des études dans des universités féminines et que les termes davantage utilisés par les hommes dans leurs CV obtenaient des points supplémentaires. Ils se sont donc rendu compte, en fait, que leur algorithme n’était qu’une version automatisée du processus qu’ils auraient accompli eux en tant qu’humains et que ça dépendait de la manière dont ils envisageaient la réussite.
Donc ce n’est pas parce qu’ils ont choisi une définition d’une carrière réussie qui avait des défauts, mais en regardant en détail, en fait, qui a des promotions chez Amazon ? Est-ce que les promotions sont vraiment équitables ? Qui reste longtemps en poste chez Amazon ? Qui a obtenu le boulot au départ ? Donc tous ces critères-là ont des biais et il y en a toujours quand on mesure une chose : le recrutement, les promotions, les salaires, la durée d’emploi, le confort que la personne peut trouver dans cette culture professionnelle, dans cet environnement professionnel, si tous ces éléments sont utilisés dans l’algorithme, les éléments sous-jacents vont ressortir même si ce n’est pas intentionnel.
Ce qu’il y a de bien en tout cas, c’est qu’ils ont testé leur algorithme et qu’au final d’ailleurs, ils ont décidé de ne pas s’en servir.

Nicolas Martin : Ce qu’on entend dans ce que vous dites, Cathy O’Neil, c’est que ces algorithmes, finalement, sont biaisés parce qu’ils prennent comme base référentielle, ils objectivisent les biais naturels de la société. Est-ce que, par ailleurs, vous pensez, et c’est ce que vous dites un peu dans votre livre, il y a cette partie-là que vous venez de décrire, mais il y a aussi une sorte – je vais utiliser un mot peut-être un peu fort – de malveillance à la programmation, c’est-à-dire d’algorithmes qui sont, pour le coup, volontairement biaisés par des êtres humains intentionnellement ?

Cathy O'Neil traduite par Marguerite Capelle : Ces biais amènent beaucoup de problèmes, toutes sortes de problèmes, mais c’est une question très intéressante. La mauvaise nouvelle c’est qu’il n’y a pas de solution simple, il n’y en a pas qu’une.
Pour revenir sur les exemples que j’ai donnés : le système d’évaluation des enseignants qui était quasiment un système aléatoire en fait, ce n’est pas que c’était un système biaisé, il était juste très mauvais ; ça revenait quasiment à un générateur de notes aléatoires. Il n’aurait jamais dû être utilisé ! Dans le cas d’Amazon, comme vous l’avez dit, en fait le système utilisé était alimenté par les biais culturels. Ce n’est pas sans espoir.
Une petite histoire, un exemple. Les gens ont réalisé que quand ils recrutaient pour des orchestres, ils avaient toutes sortes de biais et ils avaient tendance à faire du népotisme, à recruter les gens que leur recommandaient les gens qu’ils connaissaient. Donc ils ont mis un rideau pendant les auditions. L’idée c’était d’éliminer toutes les questions qui n’étaient pas pertinentes par rapport à leur qualification. Et c’est ça qu’il faut questionner dans le big data.
Dans l’exemple d’Amazon, on ne cherchait pas de compétences, en fait, on ne regardait pas les qualifications des gens, on regardait ce qui correspondait à des tendances systématiques expliquant le succès. Et on rajoute des informations comme si avoir de plus en plus d’informations c’était mieux et, en fait, ce n’est pas vrai.
Le deuxième exemple, c’est celui de la notation du risque de récidive, du score de récidive. En fait, là, il manque des données. Nous n’avons pas de données sur un certain nombre de délits. Quand les Blancs fument des joints ils ne sont pas arrêtés ; quand les Noirs fument des joints ils se font arrêter. Donc là il y a un biais puisqu’il manque, en fait, des données. Évidemment, c’est très difficile de traiter ce qu’on ne sait pas ; c’est plus facile d’ajuster ce qu’on sait. Et là, par exemple, le défaut est probablement fatal. Je pense, en fait, qu’il ne faut pas noter les gens pour leurs risques de récidive ou donner des scores pour les risques sur le crédit. Je pense qu’il ne faut pas accepter de faire ça.

Le résultat final semble toujours l’amplification des inégalités et une menace pour la démocratie parce qu’on optimise tout ce qui ne va pas. On optimise le profit plutôt que la vérité. C’est aussi le cas des algorithmes du fil d’actualités de Facebook qui nous alimentent simplement pour nous maintenir sur Facebook plus longtemps. C’est un faux problème. Il s’agit d’optimiser quelque chose qui sera plus utile pour Facebook : plus longtemps on reste, plus on clique, plus cela génère de profits pour le réseau social, mais ce n’est pas optimisé pour que nous soyons correctement informés. Au final, au lieu d’avoir des discussions, nous rentrons dans des querelles et nous avons des fausses informations. Encore une fois, cela provient de ce qui a été défini comme critère de réussite pour l’algorithme de Facebook.

Nicolas Martin : À propos de ces biais nous avons posé la question à Jean Ponce. Jean Ponce est directeur du département d’informatique de l’ENS [École normale supérieure], également directeur scientifique de l’IA [Intelligence artificielle] de Facebook [plutôt des activités de conseil qui ont cessé en août 2018, Note de l'orateur], écoutez ce qu’il en pense.

Jean Ponce (a relu la transcription et apporté quelques précisions) : Souvent les problèmes liés peut-être pas aux biais mais en tout cas à l’éthique, ne sont pas nécessairement au niveau technique mais sont au niveau de la personne qui, soit commandite le projet, soit de la réglementation. Il y a quelque chose qu'il est absolument fondamental de comprendre c'est que, pour toutes les méthodes utilisant ces techniques il y a ce qu'on appelle l'apprentissage supervisé, pendant une phase dite d’entraînement on va utiliser des données annotées par quelqu’un. Ensuite il y a une phase de tests où on va déployer le système. Si vous voulez, le système aura appris à reconnaître une voiture, à reconnaître une personne, mais l’apprentissage reflète nécessairement les biais présents dans les données d’entraînement et leurs annotations. Pour la partie technique, il y a quelqu’un qui écrit un algorithme de reconnaissance, par exemple, et cet algorithme va marcher plus ou moins bien. Ensuite il y a la personne qui va choisir le jeu de données à utiliser pour entraîner l’algorithme ; enfin il y a la personne qui va décider dans quels domaines d’application et sur quelles données déployer le système.

Je ne peux pas parler pour Facebook, pour un programme industriel, mais c’est ça l’idée. Il n’y a pas de biais dans les algorithmes eux-mêmes, a priori évidemment. Il peut toujours y avoir quelqu’un de maléfique qui va écrire un programme qui va être biaisé, pour être sexiste, pour être raciste, etc., mais en général ça ne va pas être le cas.

Par contre, vous pouvez avoir, au moment de la sélection des données d’entraînement, un biais qui peut être volontaire ou involontaire. C'est en partie un problème humain. Effectivement, il est difficile d’imaginer de collecter un milliard d’images et de les annoter manuellement. Le problème de trouver des données qui ne sont pas biaisées est lui-même difficile. Enlever le biais c’est forcément sélectionner les bonnes données.
Les problèmes liés au biais des données ne relèvent pas nécessairement d’une volonté de nuire de qui que ce soit. En gros c’est vraiment un problème inhérent aux données elles-mêmes, ce n’est pas un problème tellement au niveau de l’algorithme qui va essayer, par exemple, de faire de la reconnaissance faciale. En général, à moins qu’une personne le fasse volontairement pour une raison ou une autre, cet algorithme de lui-même ne va pas être biaisé.

Nicolas Martin : Voilà en quelques mots, Cathy O’Neil. Le biais ne vient pas des algorithmes eux-mêmes, c’est la sélection des données d’entraînement ; le problème est strictement humain. Qu’en pensez-vous ?

Cathy O'Neil traduite par Marguerite Capelle : D’un côté, ce qu’il dit c’est qu’on ne peut pas s’en prendre à l’algorithme. Ça, je suis d’accord, il ne faut pas blâmer l’algorithme. Il n’y a pas d’algorithme qui soit le mal incarné, c’est le contexte dans lequel on l’utilise qui génère des effets positifs ou pas. Mais ce qu’il dit, dans ce cas-là, c’est qu’il faut laisser l’algorithme fonctionner. En fait c’est quand même Facebook, avec tout le pouvoir qu’il a, qui décide d’utiliser ou pas un algorithme et c'est lui aussi qui décide, en fait, l’effet général : est-ce qu’il va servir la société ou est-ce qu’il va, au contraire, coûter à la société ? Qui est-ce que ça va affecter ? À quel point est-ce que ça va les affecter ? À quel point est-ce que ça peut leur nuire ? Je ne sais pas à quels algorithmes il faisait allusion, j’ai le sentiment que c’était peut-être ceux qui permettent d’identifier les visages des gens, notamment sur Facebook et qui ont conduit des personnes à voir leur visage identifié comme ceux de gorilles.
Je ne m’en prends pas à l’algorithme, je m’en prends aux personnes qui ne l’ont pas testé sur des Noirs avant de le mettre en fonction. La question c’est : est-ce que ça fonctionne pour les personnes qui utilisent nos services ? Est-ce que ça fonctionne pour les gens qui appartiennent à toutes les ethnies ? Et le fait de ne pas avoir fait ce test, dans le cas de cet algorithme, avant de le mettre en service, en sachant à quel point les gens se soucient de leur réputation sur les médias sociaux, etc., ça c’est l’erreur commise par les responsables, pas par l’algorithme.

Nicolas Martin : Pour conclure, Cathy O’Neil, quel serait le petit test d’autodéfense du citoyen justement contre cette omnipotence, contre ces biais algorithmiques qui finissent par mettre en danger, comme vous le dites, la démocratie, la représentativité ?

Cathy O'Neil traduite par Marguerite Capelle : Une réponse courte c’est qu’en fait, malheureusement, nous n’avons pas accès à ce genre de tests. Une réponse plus longue c’est qu’il faut se servir du processus démocratique pour demander des responsabilités concernant les algorithmes, y compris chez Facebook. Il ne suffit pas de dire : ces algorithmes qui sont des boîtes noires fonctionnent, ou ne fonctionnent pas et ça leur appartient. Facebook fait énormément de profits et nous avons le droit d’exiger qu’il ne nuise pas à la société, à la culture.

Je veux comparer ce qui se passe en France, par exemple sur la question de la police prédictive, sur la question de la publicité prédatrice, sur les nouvelles lois de protection des données, comparer cette situation avec la situation telle qu’elle peut exister en Chine où la question du score de crédit, etc., est un outil de contrôle des gens et il n’y a aucun droit à la vie privée. Il n’y a pas de possibilité de responsabilité démocratique et c’est ça l’avenir dystopique vers lequel nous nous dirigeons si nous continuons à ignorer ces problématiques.
Donc il n’y a pas grand-chose qu’on puisse faire en tant qu’individu parce que c’est une question de rapport de force, de pouvoir. Je peux me plaindre des pratiques commerciales de Facebook, mais moi seule je ne peux pas les changer. Par contre tous ensemble, de façon solidaire, en tant que groupe, nous pouvons changer les choses, et c’est à ça que sert la démocratie.

Nicolas Martin : Merci beaucoup Cathy O’Neil d’avoir été avec nous au cours de cette heure. Merci à Marguerite Capelle qui a assuré votre traduction. Je rappelle le titre de votre livre Algorithmes, la bombe à retardement, c’est aux Éditions des Arènes. Merci à tout l’équipe de La Méthode scientifique : Eve Etienne, Antoine Beauchamp, Noémie Naguet de Saint Vulfran, Céline Loozen, Tom Umbdenstock. Olivier Bétard à la réalisation, Claire Levasseur à la technique.
Un mot pour vous dire que demain, pour la première émission de l’année, nous aurons le plaisir de recevoir l’astrophysicien Jean Audouze, élève d’Hubert Reeves, spécialiste de la nucléosynthèse, la façon dont les atomes se créent au cœur des réactions thermonucléaires de fusion dans les étoiles, pour passer ensemble le premier jour de l’année. Je vous souhaite une excellente fin d’année et on se retrouve demain pour la nouvelle année, à 16 heures, jusqu’à preuve du contraire.

• 1. RGPD - Réglement général sur la protection des données
• 2. IMPACT
• 3. Occupy Wall Street
• 4. Marche des Femmes