Surveillance numérique et libertés fondamentales

Titre : Surveillance numérique et libertés fondamentales
Intervenante·e·s : Valérie KokoszKa - Laurence Devillers - Antoinette Rouvroy - Irénée Regnault - Karolien Haese - Jean-Marc Desmet
Lieu : Web débat
Date : juin 2020
Durée totale : 1 h 40 min
Licence de la transcription : Verbatim
Illustration : Surveillance, Adrien Coquet - Licence Creative Commons By
NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Introduction

Durée : 4 min 04
Visualiser la vidéo

Valérie KokoszKa : Bonjour et merci d’être là pour ce Web débat consacré à la surveillance numérique et aux libertés fondamentales. Premier parce qu’il est, en quelque sorte, la matrice d’autres Web débats qui porteront sur les normes, les libertés et la surveillance numérique voire sur d’autres sujets où l’intelligence collective, la créativité peuvent nous permettre de rendre ce monde, le nôtre, meilleur, plus libre, plus heureux.
Pour ce faire, l’idée est de rassembler, comme ce soir, des spécialistes, des praticiens, femmes et hommes de terrain et tous ceux qu’un sujet intéresse, intrigue ou inquiète.
Celui de ce soir relève sans doute de cette dernière catégorie, puisqu’avec le coronavirus, tracé par des applis, tancé par des drones, le port du masque repéré par des caméras de reconnaissance faciale, une sorte de vent frais souffle sur les libertés et il fait parfois un temps à ne pas mettre un déconfiné dehors. De sorte qu'il m'a semblé intéressant de discuter, finalement, du déploiement, du développement de la surveillance numérique et de nos libertés fondamentales. Qu’est-ce que la pandémie en a révélé et surtout quelles solutions pouvons-nous inventer ?

Pour en parler ensemble quatre intervenants qui ont tout de suite répondu positivement à cette invitation d’échange, que je remercie et que je vais brièvement présenter. Il y a :

Laurence Devillers, professeur en Intelligence Artificielle à la Sorbonne, qui est titulaire de la chaire en Intelligence Artificielle HUMAAINE, acronyme de HUman-MAchine Affective INteraction & Ethics. Elle est l’auteur en 2020 de deux livres Les robots émotionnels – Santé, surveillance, sexualité… : et l'éthique dans tout ça ? d’un côté et puis La souveraineté numérique dans l’après-crise.

Antoinette Rouvroy qui est docteure en sciences juridiques de l’Institut universitaire de Florence, chercheuse qualifiée au FNRS [Fonds National de la Recherche Scientifique], qui travaille au Centre de recherches information, droit et société et qui était titulaire cette année de la chaire Francqui qu’elle allait consacrer à la gouvernementalité algorithmique.

Irénée Regnault, consultant, auteur du blog « Mais où va le Web ? », cofondateur de l’association Le Mouton Numérique, qui est à la fois un praticien et un observateur assidu de ce qui se passe dans toutes les nouvelles technologies, qui prépare pour septembre un ouvrage sur les technologies et ses risques pour la démocratie.

Karolien Haese, avocate, juriste, fondatrice du Building Healthcare For Tomorrow, qui suit les aléas de la surveillance numérique depuis la crise des subprimes en passant par les dispositifs mis en place pour contrer le terrorisme et maintenant le covid et qui prépare un colloque en septembre là-aussi consacré notamment à la surveillance.

Et puis moi-même, Valérie KokoszKa, je suis docteure en philosophie, maître en Management des Institutions de Soins et de Santé. Je travaille au centre d’équipe médicale de l’université catholique de Lille et mes domaines de prédilection sont la phénoménologie, la métaphysique et la gouvernance des innovations.

Puisque les présentations sont faites, je vous propose d’entamer immédiatement la conversation et les échanges autour de toutes ces questions avec une première question qui est de savoir ce que selon vous, pour vous, la pandémie a révélé en matière de déploiement du numérique, de la surveillance ? Quels sont les enjeux, les opportunités, les risques ? En voyez-vous ?

La pandémie révélateur et accélérateur du déploiement des outils numériques ?

Durée : 22 min 04
Visualiser la vidéo

Irénée Regnault : Déjà merci pour l’invitation.
Pour remettre le contexte, il se trouve qu’au Mouton Numérique on a entamé dès le mois de mars un recensement de toutes les technologies qui ont été mises en place en réponse à la crise sanitaire, les technologies et solutions numériques diverses. C’est difficile de faire rapidement un bilan aujourd’hui, mais ce qui a été important pour nous c’est de voir qu’en fait elles ont été de différentes sortes et qu’on ne peut pas porter le même regard sur toutes ces technologies.
Il y a eu des technologies qui étaient de l’ordre de la télémédecine, l’explosion de Doctolib ou des choses comme ça. Il y a eu des technologies qui ont été utilisées pendant le confinement pour vérifier que les gens étaient bien confinés chez eux, par exemple en Pologne où il fallait envoyer un selfie dans les 20 minutes pour attester du fait qu’on était bien chez soi. Ensuite il y a eu d’autres types de technologies qui ont été déployées post-confinement, là plutôt pour vérifier si les distances étaient bien maintenues ou si d’autres choses, comme le port du masque dont vous parliez tout de suite, était bien effectives dans certaines villes. Et enfin des technologies qui ont été mises en place, plutôt qui ont été exagérées, qui ont été poussées au maximum de leurs possibilités, à savoir les technologies déjà existantes qu’on utilise tous comme les Facebook, les Google qui ont sorti, pour certains d’entre eux, de nouveaux produits notamment des vidéos ou rendu disponibles gratuitement ce qui était de l’ordre du Premium. Ça va jusqu’à Pornhub qui a lancé des abonnements Premium en Italie, peut-être ailleurs.
Il faut déjà bien avoir ça en tête pour commencer, c’est peut-être idéal. Il n’y a pas eu que des outils de surveillance, il y a eu plusieurs outils dans plusieurs domaines. Pour nous, ils ont révélé, en fait, si je le fais simplement, étant donné le temps de parole et le nombre qu’on est, c’est une accélération phénoménale de ce qui était déjà à l’œuvre, donc pas vraiment de nouvelles technologies, des technologies existantes qui ont glissé d’un usage vers l’autre, typiquement des technologies du domaine militaire qui se sont déployées dans le civil, des technologies par exemple du domaine du fitness, je pense au bracelet électronique, qui d’elles-mêmes ont été détournées à des fins de surveillance sanitaire. Donc pas grand-chose de très nouveau, en fait.

Si je continue juste une minute là-dessus, sur ce recensement, ce qu’on se dit aujourd’hui c’est qu’on était déjà fondamentalement inquiets de la manière dont se déployaient les systèmes de surveillance, si je m’arrête à cette stricte catégorie des systèmes de surveillance, qu’ils ont été déployés forcément très vite par beaucoup d’entreprises qui attendaient un petit peu au coin de la rue, il faut le dire, et, en parallèle, beaucoup d’associations de défense des droits, dont évidemment La Quadrature du Net1 et d’autres, dans une moindre mesure Le Mouton Numérique, et les institutions qui, de manière normale disons, sont des contrepoids face à ce développement, ont réagi de manière, j’allais dire tout aussi proportionnée par rapport à ce qui était en cours avant. Quand je dis « tout aussi proportionnée » c’est-à dire qu’elles ont réagi et que, parfois, elles ont su arrêter certains abus. Ça ne veut pas dire que cette réaction est suffisante puisqu’elle n’était déjà, en tout cas à mon sens, pas suffisante. Donc accélération et intensification des offres, des réponses institutionnelles et des chiens de garde, en fait, des watchdog associatifs.

Valérie KokoszKa : Karolien.

Karolien Haese : Je pense très sincèrement qu’on peut s’accorder effectivement sur cette accélération, mais c’est peut-être à la question de la surveillance même du citoyen à laquelle il faut penser, qui est, en fait, une question qui est récurrente depuis des millénaires. Si on lit par exemple L’Art de la guerre de Sun Tzu, on voit déjà combien les dirigeants ont toujours eu ce besoin à un moment donné et certainement en temps de crise de contrôler les populations pour, quelque part, répondre à ce besoin de dire « nous pouvons mieux prévenir ».
Je pense que la technologie est effectivement un outil, mais qu’on ne doit pas se tromper de débat. À partir du moment où on a effectivement un outil surpuissant, l’important c’est aussi de se poser la question de savoir quel est l’objectif que l’on veut atteindre avec cet outil, que ce soit dans la surveillance sanitaire, que ce soit dans la surveillance financière, que ce soit dans la surveillance terroriste. On voit effectivement que l’outil digital devient omniprésent dans cette surveillance, souvent porté d’ailleurs par de la bonne foi, par des bonnes intentions, par un oubli de dire que ce meilleur contrôle sur la population, sur les mouvements, sur la traçabilité financière, la traçabilité sanitaire, va permettre effectivement d’enrichir, de contrôler, de maintenir ou d’améliorer un intérêt public.
Entre, je dirais, la focalisation qu’on peut avoir aujourd’hui sur un outil qui va se développer de plus en plus vite, qui va devenir de plus en plus puissant, qui va aller jusqu’à la singularité à un moment donné, qui va réfléchir par lui-même, et l’objectif que l’on peut chercher à atteindre en qualité d’État, en qualité d’État souverain, il faut bien faire la part des choses et ne pas oublier que ces objectifs, dans un État démocratique en tout cas, sont en principe fixés par les citoyens.
J’ai un peu l’impression que dans tous ces débats qu’on a entendus au niveau de la crise sanitaire, on a oublié ce débat essentiel à l’objectif. Est-ce que l’objectif du tracing est réellement d’améliorer la prise en charge ?, et on a vu qu’à Singapour, malheureusement, les échecs étaient là, ou est-ce que c’est créer une banque de données pour de la recherche a posteriori qui est aussi un objectif louable, ou est-ce que c’est encore aller plus loin en se disant « finalement, une surveillance sanitaire dans un monde où les systèmes de sécurité sociale ne parviennent pas à offrir un accès à la santé pour chacun des citoyens, est-ce que ce n’est pas encore un outil qu’on peut développer plus loin ? »
Je pense qu’il est vraiment important que l’on puisse s’arrêter en dehors, je dirais, de mesures excessivement urgentes qui peuvent justifier, à un moment donné, une mise entre parenthèses de ce débat démocratique en raison de l’urgence, en raison de la sécurité. En tout cas, maintenant que le calme revient, je pense qu’il est vraiment essentiel que l’on ait un débat démocratique sur ce que veut la population, sur les objectifs que l’on cherche à atteindre en réalité avec ce nouvel outil.

Valérie KokoszKa : Antoinette.

Antoinette Rouvroy : Merci beaucoup de nous recevoir dans ce lieu sans lieu mais pas sans adresse.
Ce qui me frappe, effectivement, ce sont des réflexions qui sont assez générales, c’est cette idée du privé, du private, de la private life. En fait, je n’ai jamais ressenti autant qu’aujourd’hui le fait que to be private is to be deprived. Il y a quelque chose aussi, quand on est reclus chez soi, on est très heureux de se voir même à travers un écran, c’est toujours ça, mais il y a quelque chose quand même de la privation. Ça montre bien à quel point ces enjeux de protection même des données personnelles ne sont pas tellement des enjeux personnels, en fait ce sont des enjeux collectifs, ce sont des enjeux qui sont essentiellement politiques, essentiellement collectifs, essentiellement structurels.
Ce qui m’a frappée c’est la réaction des gens face à cette perspective non pas de surveillance de masse, parce qu’il s’agissait essentiellement dans cette sorte — j’ai appelé ça de façon un peu maladroite des gadgets, ce ne sont pas vraiment des gadgets — de covid tracing, de traçage des promiscuités entre les personnes, un traçage au départ de collecte de données ou plutôt de signaux émis par des appareils Bluetooth. Il y a eu une sorte de levée de boucliers par rapport à cela qui m’est apparue assez particulière dans la mesure où par ailleurs, tous les jours nous émettons des tonnes – pas des tonnes, ça ne pèse rien – mais beaucoup de données beaucoup plus personnelles, beaucoup plus personnelles que ces phéromones numériques que nous lâchons quand nous nous déplaçons avec un appareil muni d’un Bluetooth, sur des plateformes qui, elles, en ont évidemment largement profité puisque tout le monde n’est pas vraiment frappé par la crise de la même manière. Les plateformes numériques, elles, les plus gros acteurs de l’Internet, ont largement profité de cette situation de confinement pour recueillir des quantités absolument gigantesques de données, pas spécialement d’ailleurs pour nous surveiller directement, peut-être aussi pour développer de l’intelligence artificielle, pour apprendre à leurs intelligences artificielles à mieux apprendre à nous connaître, etc. Il y a là toute une fenêtre d’opportunités qui s’est ouverte et qu’elles ont largement saisie.
Ce qui me frappe c’est un petit peu ce décalage que je remarque et qui atteste, finalement, d’une sorte de défiance très grande des citoyens envers les autorités publiques, y compris les autorités sanitaires et par ailleurs une confiance très grande, un tout petit peu par défaut, dans des entreprises privées souvent de droit non-européen, auxquelles ils sont prêts à donner des tas de données.
Je ne dis pas pour autant que les applications de covid scoring sont sans problèmes, loin de là. Loin de là ! Elles sont d’autant plus problématiques qu’elles fonctionnement très mal et aussi, surtout, il me semble que ce traçage numérique des contacts à travers la collecte de signaux Bluetooth – d’ailleurs qu’elle soit plus ou moins conforme aux grands principes de protection des données, c’est possible, en fait, de rendre ces applications plus ou moins conformes aux grands principes de protection des données, que ces données soient conservées de manière plus ou moins centralisée ou décentralisée, que le téléchargement de l’application soit rendu obligatoire ou non, ce sont toutes des questions qui ont été beaucoup débattues –, mais je pense qu‘il y a une autre question que je dirais quasiment antérieure à celle-là et qui n’est jamais posée en fait, c’est que ces dispositifs instaurent surtout une toute nouvelle manière de cartographier le phénomène épidémique à l’échelle du signal numérique mobile, déterritorialisé. Il ne s’agit plus, en fait, de rapporter ce signal à aucun quadrillage de l’espace physique comme pouvait en parler Michel Foucault à l’époque des épidémies de peste par exemple. Il y a une sorte de déterritorialisation très grande de ce qu’on appelle encore, peut-être à tort, la surveillance parce que ça ne passe plus par l’épistème visuel ; on remplace le visuel par le pur calcul et le calcul de proximité entre des data points, des points de données, dans un espace tout à fait neutralisé c’est-à-dire un espace purement géométrique, un espace purement métrique.
Cette sorte de surveillance prend une nouvelle figure qu’on peine un petit peu à décrire et c’est pour ça que nos réticences sont souvent assez mal exprimées ou maladroites par rapport à ce phénomène. En vérité, ces analyses de signaux déterritorialisés se détachent finalement complètement de l’idée qu’on pouvait avoir de la surveillance. Il ne s’agit plus ici de se fonder sur la détection de l’espace, ni la détection de groupes sociaux particuliers, ni même la détection d’individus qui auraient un comportement particulier. Il s’agit de quelque chose qui est beaucoup plus abstrait, beaucoup plus statistique et qui, en fait, est finalement dans une sorte de déni de la matérialité des situations. C’est une abstraction par rapport au monde physique, un déni de l’organicité, un déni de la socialité, et finalement ça permet, ça nous met au seuil d’une gouvernance véritablement hors-sol avec un risque d’autisme extrêmement grand de la part de cette gouvernementalité.
C’est finalement ça qui m’inquiète le plus. Ce qui m’inquiète véritablement le plus, c’est ce que j’ai appelé par ailleurs, comme Frédéric Neyrat d’ailleurs, un symptôme de notre époque qu’on peut appeler la signose, cette tendance à confondre la carte avec le territoire et, du coup, à dénier la réalité matérielle. Ce n’est pas tout à fait nouveau. À chaque tournant, que ce soit le tournant linguistique, le tournant culturel, le tournant interprétatif, etc., on a toujours dit finalement qu’il y a un grand oubli de la matérialité. La seule chose qui ne compte plus c’est la matérialité et c’est bien ça, me semble-t-il, le risque majeur, cet oubli de la matérialité est aussi, forcément, une sorte de dépolitisation assez radicale. Cette idée que le monde parlerait par lui-même à travers des signaux numériques, ce qui n’est juste pas possible parce que ça ne parle pas.

Valérie KokoszKa : Oui, tout à fait, ça s’interprète. Laurence.

Laurence Devillers : Les points qui m’ont fait réagir. D’abord j’ai eu le covid, mes proches aussi, j’ai vu des gens mourir autour de moi, je ne vais vous faire un schéma que vous ne connaissez pas, mais c’était quand même important de sentir une solidarité que moi j’ai ressentie autour de moi, dans la ville où j’habite, aussi à travers les réseaux sociaux.
Qu’est-ce que j’ai pu voir d’autre ? J’ai pu voir aussi qu’on se fiait, comme le disait très bien Antoinette, beaucoup plus, en fait, aux géants du numérique, aux GAFAMI – Google, Apple, Facebook, Amazon, Microsoft et IBM – qui développaient à tire-larigot tout un tas d’outils et qui ont sûrement capturé énormément de données.
Il est important de se rendre compte de cela, c’est pourquoi j’ai écrit ce petit essai sur la souveraineté numérique que j’aurais sans doute dû appeler « gouvernance du numérique », qui était d’alerter sur le fait qu’en temps de pandémie on a tendance à aller au plus pressé pour garantir ou essayer, en tout cas, de garantir le soin pour tous. Du coup on oublie qu’en fait on ne va peut-être pas assez sécuriser l’espace dans lequel on est. Nos données médicales sont importantes, il n’est pas normal que le Data Hub Santé soit sur un serveur Microsoft. Les outils qu’on utilise à l’école sont aussi des outils développés par Microsoft, par Google. L’application StopCovid n’a pas totalement été ouverte à un protocole français puisqu’on n’a pas accès aux couches basses pour gérer le Bluetooth qui reste allumé.
Tout ça m’inquiète. On a vu, pendant le StopCovid, qu’on était dépendants des Chinois pour les médicaments, les masques, etc., mais on est dépendants des géants américains pour notre numérique.
Le numérique, vous l’avez bien dit, est invisible. En fait, les tractations dont vous parliez tout à l’heure en disant que cette invisibilité est un risque, etc., il faut quand même remettre un petit peu les choses au cœur de la cité. On a, par exemple, des cartes bancaires qui permettent de savoir où on est, ce qu’on consomme, de façon très affûtée déjà. On a des téléphones – qui n’en a pas un dans sa poche ? – qui permettent de géolocaliser les gens. Je crois qu’il faut, dans ces discours, qu’on soit extrêmement précis, qu’on soit plus au fait des technologies qui sont utilisées pour éviter de parler, par exemple, de singularité.
Je travaille donc en intelligence artificielle, sur les réseaux neuronaux profonds, sur des sujets qui sont extrêmement touchy, qui sont délicats. Je me rends bien compte que les applications derrière ne sont pas toutes souhaitables, avec des réseaux de neurones pour faire de l’apprentissage machine, sur les émotions qui sont particulièrement variables, dépendant des cultures, vraiment de l’humain. Donc je suis tout à fait consciente de ça et on va beaucoup trop loin dans beaucoup de domaines. Mais ne jetons pas tout en même temps, parce qu’on peut aussi être utiles pour la santé, pour soigner sur le long terme, pour éviter des prises de médicaments, pour aider le collectif à mieux partager. On a vu que la télémédecine avait fait un bon incroyable pendant la pandémie et tant mieux parce qu’il y a des gens qui ne peuvent pas se déplacer. Le risque de contamination nous a bien montré l’efficience de ce genre d’outils alors ne le faisons n’importe comment.
J’aurais tendance à éviter les points de vue extrêmes qui me font réaliser de plus en plus qu’il manque, en fait, une éducation plus forte sur l’histoire des sciences, sur la technologie, comment elle est développée et ce qu’il serait souhaitable de faire.
Si on ne prend pas le temps de considérer cela en Europe notamment puisqu’on a déjà la GDPR [General Data Protection Regulation] qui montre à quel point on pense à l’univers privé et je reviendrai un point sur ce privé.

J'aimerais finir sur ce que j’ai dit tout à l’heure sur la singularité. Pour moi il n’y a pas de point de singularité. Les machines sont faites par les humains. On sait qu’elles vont avoir des comportements derrière qui ne seront peut-être pas ceux qu’on a mis, mais qui sont liés aux systèmes qu’on développe. C’est une complexité importante. Dire que la complexité va nous échapper, non ! La créativité d’une machine c’est de proposer des solutions que l’humain n’a peut-être pas envisagées lui-même et c’est l’humain qui dit « ça c’est intéressant, ça c’est nouveau ». C’est ce que vous disiez Antoinette, c’est du très bas niveau, donc l’interprétation qu’on fait des signaux n’est donnée qu’à l’humain. Cette coopération qu’on devrait avoir avec les machines est urgente parce que dans le monde entier il y a des tas de gens qui ne se préoccupent pas de centrer l’utilisation des outils numériques pour l’humain, avec l’humain, en intelligence cognitive. Cette prise de conscience est urgente.
Je ne dirais pas que ce sont des gadgets. Je dirais que pour tracer, moi ayant été contaminée – c’est vrai qu’il n’y avait pas ces outils-là ; ça arrive en fin de pandémie pour nous parce qu’on n’est pas du tout en fin de pandémie pour le monde entier, on a vu qu’on est loin d’une fin, ne lâchons jamais en fait cette idée, ça sera peut-être utile – qu’il était important de développer un outil qui soit européen, malheureusement il ne l‘a pas été, pourquoi ? Parce que les Allemands, finalement, sont partis sur l’application Google-Apple qu’ils ont développée ensuite parce qu’ils ont sans doute des accords internes, d’entreprises, avec les GAFA, qui les empêchaient de prendre cette décision. Les Anglais ont mené une étude en grandeur, on parle de bac à sable sur l’Île de Watts, pour voir si cet outil de traçage était effectivement utile ou pas. Ils ont montré qu’on perdait le contrôle sur le Bluetooth et qu’effectivement c’était compliqué.
Il n’empêche qu’il est urgent qu’on prenne les choses en main, et la fin de mon essai c’était de dire qu’on ne va pas juste dire non à tout. Il faut appréhender les choses, les comprendre et essayer de mieux les réguler.
L’idée du privé, de la privacy dont vous avez parlé, c’est aussi quelque chose qu’il faut mieux expliquer. Si on regarde un peu quelles sont nos données privées, il n’y en a pas tant que ça. Il n’y en pas tant que ça ! Il y avait ce paradoxe absurde, je suis bien d’accord, privacy paradox, qui est que tout le monde met ses données partout, ses images partout, sur Facebook, sur les réseaux et qu’en même temps on crie au loup alors que le StopCovid est une application de traçage, avec un protocole qui est fait par l’Europe, avec nos grands groupes qui proposent des serveurs, en étant sous contrôle du ministère de la Santé et non pas d’un État de gouvernances qui voulaient priver de liberté les gens, c’était avant tout pour aider. J’ai trouvé que là on était bien peu responsables quand on était vraiment excessivement contre. Il est important de regarder ça. Et il n’y a pas tant que ça de données privées parce que même les données génomiques dépendent de vos parents, de vos grands parents ; les données que vous mettez sur Internet il y a souvent un cousin, quelqu’un d’autre, c’est rarement vous tout seul.
En fait qu’est-ce que c’est que la donnée privée, qu’est-ce qu’on veut sauvegarder ? Qu’est-ce que c’est que la liberté essentielle si ce n’est, pour moi, le respect des autres et de l’économie pour les plus faibles ? Qui sont ceux qui ont pâti le plus de cette crise ? Ce sont les gens les plus démunis, les gens qui ne pouvaient peut-être pas se déplacer pour aller voir un médecin.
Il y a aussi à comprendre que nous sommes dans une espèce de microcosme assez privilégié lorsqu’on est professeur ou, etc., et que, dans la société, il y a ce clivage numérique qui, pour moi, est important. Qu’on soit plus inclusifs et qu’on fasse comprendre ce que ça peut apporter de bien, et interdire ou au moins vérifier ce qui est inquiétant.
Je terminerais par ceci, il y aura un comité d’éthique international qui fait suite au G7 et au Global Forum on AI for Humanity dans lequel on a travaillé, ça fait trois ans que je suis très impliquée et engagée sur ces sujets. Il y aura un comité international GPAI, Global Partnership on Artificial Intelligence, avec 15 pays différents, évidemment il y a l’Europe, la France, il y a la Corée, le Japon, des pays d’Amérique, d’Amérique du Sud. Je vais faire partie de cette aventure et j’espère que, d’un point de vue international, on aura cette lucidité non pas de jeter le numérique tel qu’il est parce qu’il y a des choses qui débordent, mais il y a des choses qui sont bien et qui sont bien pour la justice aussi, donc comment contrôler, comment montrer les grands sujets, comment être plus efficaces pour le bien de l’humanité. C’est mon propos.

Gouverner ou… être gouverné par les outils numériques ?

Durée : 23 min 17
Visualiser la vidéo

Laurence Devillers : C’est effectivement ça l’idée de transparence, de traçabilité, qu’on veut ajouter dans les comités d’éthique. Je fais partie du comité d’éthique lié au CCNE [Comité consultatif national d'éthique pour les sciences de la vie et de la santé] numérique, avec une partie numérique, on a travaillé sur la télémédecine, l’infox, sur le tracing StopCovid, en étant neutres, en ne disant pas on est pour ou contre mais qu’est-ce que ça fait et où sont les risques éthiques. Il est important de penser à cela. Je suis complètement d’accord avec vous, tout le monde devrait pouvoir savoir où vont les données qui sont capturées par un Google Home ou un Alexa Amazon. Le StopCovid ça va sur un serveur qui est chez Thalès. Donc on a aussi des informations qui ne sont pas forcément des informations qu’on demande, que les gens vont demander. Donc il est important, encore une fois, d’éduquer sur quel est le protocole utilisé, où vont mes données, à qui ça sert, qu’est-ce qui est derrière. Moi je lutte sur la manipulation de ces objets par les grands groupes qui sont derrière. Ce n’est pas magique, il n’y a pas de singularité pour moi.

Valérie KokoszKa : Absolument. Ce ne sont pas que des questions éthiques, ce sont d’abord des questions politiques.

Laurence Devillers : Oui, totalement d’accord. Et c’est à ce niveau-là qu’il faut être, de plus de finesse pour comprendre.

Irénée Regnault : J’avais juste une question peut-être à l’attention de Laurence et je laisse Antoinette juste après et Karolien.
J’ai une difficulté à n’envisager la démocratie que comme un choix a posteriori, sur des objets qui sont déjà implantés dans la réalité du quotidien.
La première question d’ordre démocratique, de mon point de vue, ce n’est pas celle des données, c’est déjà celle de la matérialité des objets. On peut penser juste à la question climatique par exemple si on sort de la question de la surveillance, ce sont des objets physiques qui consomment de l’électricité, de l’énergie, etc. Il me semble que dans la régulation éthique a posteriori par des organismes très intéressants comme le CCNE mais qui n’ont qu’un pouvoir de consultation, qui pèsent peu, en fait, face aux logiques de marché qui sont derrière, je me demande dans quelle mesure cette régulation est réellement efficace, d’une part.

Laurence Devillers : La CNIL [Commission nationale de l'informatique et des libertés].

Irénée Regnault : Oui, on a la CNIL, effectivement.

Laurence Devillers : Ce n’est pas nous qui sommes là pour faire de la régulation.

Irénée Regnault : Oui, mais la question est qui est ce « nous ». Vous avez dit à plusieurs reprises il faut éduquer, « on », ceci, cela. Déjà l’approche descendante par l’éducation.

Laurence Devillers : C’est nous, citoyens.

Irénée Regnault : Oui, mais « nous citoyens » n’existe pas.

Laurence Devillers : Si Je suis désolée. Vous avez été voter !

Irénée Regnault : Oui. On peut revenir sur ce que c’est que la démocratie. Est-ce que StopCovid est une application qui a été faite démocratiquement ? Oui, dans la mesure où elle a été faite par un gouvernement qui a été élu, lui, démocratiquement. C’est sûr. On est tout à fait d’accord là-dessus. Est-ce que la démocratie représentative par un scrutin à deux tours en France est la seule forme de démocratie qu’on puisse envisager sur des questions techniques ? Non ! On peut en imaginer plein d’autres.

Laurence Devillers : Si on gère tous les problèmes en même temps.

Irénée Regnault : Je me demande juste, on ne peut pas vouloir la démocratie sur des objets technologiques, parler de data et terminer sur nous, experts d’éthique au CCNE experts et professeurs dans des universités, on a décidé pour vous de ce qui était bon et on va vous éduquer, ce sont vos mots, à ce que c’est. Ce n’est pas la réalité. Vous voyez aujourd’hui que l’application StopCovid, en elle-même, est un débat. Elle est un débat qui a été résolu dans une forme de démocratie. Elle est inefficace qui plus est. Certains pays l’abandonnent et certaines associations ont dit : « On vous l’avait dit ! » Aujourd’hui on le voit, les applications vont n’importe où, elles sont captées dans des conditions qui n’ont même pas été vues par la CNIL. Je pense qu’il faut aussi remettre le débat en perspective et peut-être ne pas voir juste la question des données personnelles et la question des experts éthiciens qui arrivent a posteriori.
Qui est le « on » ? Qui décide ? D’où vient l’argent ? Où est-ce qu’il va ? Si je prends encore un exemple, l’argent qui a été distribué à la French Tech en janvier, 4,2 milliards, 1,2 milliard en juin, à des entreprises, en amont, à qui on a donné de l’argent. Ces entreprises ont bénéficié de contrats auprès du gouvernement pour fabriquer des applications qu’il a achetées en aval. Ça c’est un problème démocratique et vous l’avez dit, en l’occurrence, pourquoi la DINUM [Direction interministérielle du numérique] n’a pas été mandatée pour fabriquer StopCovid ? Il y a tout un tas de strates auxquelles ont peut poser la question démocratique sans forcément penser à institutions constantes ou à la démocratie, c’est l’actuel français et l’Europe et, etc.
Je rejoins Valérie, où est-ce qu’on discute des finalités de cette technologie, de cette surveillance ? Aujourd’hui je ne vois pas beaucoup d’espaces, vraiment.

Laurence Devillers : Si je me peux me permettre de répondre puisqu’il voulait que je réponde.
Ce sont des sujets importants et le CCNE est un tout petit groupe qui n’a aucun pouvoir, qui est sous le Premier ministre. On nous a donné trois tâches à faire, on essaie de les faire. On vient, par exemple, de lancer une étude collaborative sur les tensions éthiques qu’on voit dans les chatbots – il y a un questionnaire que je vous enverrai avec grand plaisir pour que vous puissiez répondre à cela. Il faut faire de plus en plus de choses comme ça, mais tel n’est pas non plus mon pouvoir, actuellement mon pouvoir est tout petit. Mais, quand même, si on est contre tout, on n’avance jamais. Je suis désolée.

Irénée Regnault : Ce n’est pas du tout ça.

Karolien Haese : Ce n’est pas du tout ça.

Laurence Devillers : Il est quand même urgent de dire qu’il y a des fab labs.

Irénée Regnault : Il ne faut pas voir les choses de façon totalement binaire.

Laurence Devillers : D’accord. Moi je ne suis absolument sur une position ferme, je doute tout le temps, je m’adapte et j’essaie de trouver qu’elle est la meilleure chose à faire.
J’ai l’impression qu’à l’heure actuelle cette énergie contre en disant « non, on ne veut pas et tout ça », pour moi c’est une énergie qui aurait peut-être été plus intéressante pour voir comment on allait lier les acteurs sur l’axe de santé, les brigades de santé qui elles, ont peut-être manipulé des données et peut-être pas, le secret médical n’était peut-être pas très bien conservé, on n’en sait rien.
Regardez un petit peu comment ça, ça s’harmonise et quelles étaient les vraies questions, plutôt que des levées sur la politique. Moi je ne vais pas faire de politique, je ne veux pas répondre à ces questions-là. J’espère qu’on peut lever le voile sur beaucoup de choses et plus on sera nombreux, non pas à dire « non, on ne veut pas », mais à dire « on veut et on veut voir dessous ». On a, par exemple pour les GAFA, demandé de parler de ce qu'il faisait de Facebook et là on voit bien que l’Arcep [Autorité de régulation des communications électroniques et des postes] n’a pas réussi à lever le tapis. On n’a pas eu les tenants et les aboutissants et, de toute façon, ce qu’ils font c’est effectivement demander aux gens a posteriori ce qui est mauvais ou pas et, à ce moment-là, on enlève. Le vrai problème, à propos par exemple de la viralité sur la toile, n’est pas pris en compte.
C’est sur ces objectifs-là, fondamentaux, qu’il serait intéressant d’aller. Après, je n’ai pas dit qu’on allait pouvoir révolutionner le monde entier. Il y a une puissance économique dingue, mais je pense que si on a peut-être gagné à la fin de cet enfermement, en tout cas, parce que ce n’est pas la fin de la crise, c’est au contraire le début de la crise économique, on a peut-être vu, et à travers ces dernières élections, qu’il y a des choses essentielles qui reviennent devant. L’écologie, effectivement, est importante. Je pense qu’avec des outils numériques on peut aussi mieux dépenser l’énergie de ces outils, je ne suis absolument pas pour faire des gadgets partout si ce n’est pas utile. On a vu, par exemple, que la distanciation était un point important. Peut-être qu’à cette époque-là, quand on était tous confinés, on aurait pu avoir des robots qui allaient à la pharmacie nous chercher des médicaments.
Il faut raison garder, c’est-à-dire que je suis plutôt pour plus de démocratie. Le « nous », le « on », c’est « nous citoyens ». Partout, à chaque fois que je parle c’est comment on embarque les gens. Il y a des associations partout, il y a des fab labs. Dans les écoles on avait La Main à la pâte pour les primaires, certaines écoles avaient la chance d’avoir ça, pourquoi on n’a pas le même genre de choses pour débusquer, savoir finalement comment on croit une information, qu’est-ce que c’est que l’information, comment on fait pour croiser différentes sources, comment on voit que ça se répète, toutes ces choses-là. Savoir faire un pas en arrière, regarder les choses et ne pas répondre sur le système 1 sur lequel je travaille. Kahneman, prix Nobel en économie en 2002, montre qu’on réagit beaucoup par intuition à partir d’un système 1 qui fait de la perception rapide de l’environnement sans remettre en question les choses. On est beaucoup comme ça dans la société, on répond très vite à tout et, du coup, finalement, on n’a pas ce temps de réel combat entre « est-ce que c’est bien, pas bien, comment on va faire, à qui ça sert, etc. », qui est essentiel.

Valérie KokoszKa : Antoinette.

Antoinette Rouvroy : Je voulais régir à ça, mais vraiment sur un plan…, un peu sur des questions vraiment normatives, en fait, plutôt des conflits de normativité je dirais.
Je me rends compte, en fait comme beaucoup d’entre nous, que pullulent les rapports sur ethical IA, l’intelligence artificielle éthique. On entend parler d’éthique partout alors qu’en fait les droits humains, eux — on a parlé un tout petit peu de droits fondamentaux — on n’arrive même pas à les faire respecter concrètement dans un tas de situations. On a parlé beaucoup de confinement aussi, mais les confinés ont de la chance par rapport à beaucoup d’autres personnes qui elles, n’ont pas de confinement, sont en situation de migration, etc., et par rapport auxquelles l’Europe n’a pas été parfaitement respectueuse de ses propres engagements en matière non pas d’éthique, c’est-à-dire de normes un petit floues, un petit peu molles, mais en matière de respect de droits qui sont pourtant dus en vertu d’engagements internationaux absolument contraignants.
Quand j’entends éthique c’est vrai qu’en même temps je trouve ça très beau l’éthique, je trouve ça magnifique dans la dimension de doute que ça implique, etc., mais en même temps je suis assez sceptique quant à la possibilité d’obtenir effectivement par l’éthique et non pas par le droit que les finalités, surtout une fois qu’elles ont été discutées démocratiquement, deviennent véritablement contraignantes. C’est quelque chose qui me semble un petit peu soumis à caution.
En particulier aussi, on a effectivement aujourd’hui et ça se lit beaucoup dans les documents de la Commission européenne, notamment en matière d’agenda relatif à l’intelligence artificielle, etc., le mot d’ordre qui est adopt IA et faire en sorte que toutes les instances privées, publiques, etc., fassent cette transition et adoptent IA comme si c’était la solution à tout. Finalement, on se rend compte que le respect des droits et libertés fondamentaux, des grands principes éthiques, etc., apparaît non pas comme des finalités en elles-mêmes mais bien plutôt comme des arguments quasiment marketing disant « voyez, nous on a une intelligence artificielle éthique », donc c’est un avantage compétitif par rapport peut-être aux États-Unis, par rapport peut-être à l’Asie, d’un côté, mais aussi pour rassurer le consommateur. On parle beaucoup de consommateur, on ne parle plus du tout de citoyen dans ce cas-là.
Effectivement ça, ça me pose énormément de questions. Est-ce que, vraiment, le droit, et l’éthique éventuellement, ne sont que des infrastructures visant à favoriser l’innovation ? On nous le dit bien « il ne faut pas que l’éthique freine l'innovation, il ne faut pas que le droit freine l’innovation ». On inverse un petit peu, on se retrouve exactement dans ce qu’Alain Supiot a très bien décrit dans La gouvernance par les nombres ou dans la Convention de Philadelphie, c’est-à-dire que vraiment une sorte de droit, de normativité juridique et éthique a fortiori devient, en quelque sorte, le label même de l’innovation et s’impose à titre véritablement de logique absolue, donc on ne questionne pas les finalités par définition, puisque c’est une logique absolue. Ça, ça me pose pas mal de questions.
Par rapport aussi à ce que, Valérie, vous disiez relativement à l’intime, etc., et aussi à ce qui a été dit précédemment par Laurence, cette importance, en fait, non pas d’opposer intelligence humaine à intelligence artificielle comme si c’était des choses qui étaient même comparables, alors qu’en fait ce sont des choses complètement différentes, elles ne se situent pas du tout dans le même épistème, elles ne fonctionnent pas du tout de la même façon sinon on n’aurait pas besoin d’intelligence artificielle si elles faisaient la même chose.
Ce que je voulais dire par rapport à ça, c’est que la tendance aujourd’hui est de mal utiliser l’intelligence artificielle, c’est-à-dire de l’utiliser pour automatiser notre propre bêtise, c’est-à-dire pour faire automatiquement ce que nous faisons déjà mal nous-même. Au lieu d’utiliser l’intelligence artificielle pour ses vertus de curiosité automatique, c’est-à-dire pour sa capacité de fabuler des choses qui n’ont pas été entrevues par nous, c’est-à-dire utiliser cette capacité qu’ont les algorithmes, par exemple, à détecter des régularités du monde qui nous échappent, à nous, parce qu’elles ne sont détectables que sur des très grands nombres. Et ça c’est quelque chose de magnifique, c’est quelque chose qui a d’immenses applications dans plein de domaines et ça peut vraiment augmenter notre intelligence humaine. Donc autant cette question par exemple du droit des robots ou de l’intelligence artificielle qui soi-disant va nous dépasser, pour moi c’est vraiment de la science-fiction et c’est pure fabulation. C’est une méconnaissance.

Valérie KokoszKa : Je suis d’accord aussi.

Antoinette Rouvroy : La question finalement, et j’en terminerais peut-être là, on parle beaucoup aujourd’hui et on se dit aussi, par exemple, qu’il faut interpeller les gens pour qu’ils participent au design des algorithmes, etc., donc démocratiser la fabrication même de ces algorithmes.

Laurence Devillers : Il y a les fab labs, il y a beaucoup de choses.

Antoinette Rouvroy : Une très bonne chose en soi, bien entendu. On parle aussi de rendre les algorithmes fats pas gros, ça veut dire simplement accountable and transparent en anglais ; c’est finalement se dire qu'on va rendre ces algorithmes parfaits, qu’ils vont rendre justice à notre place.

Laurence Devillers : Non, non.

Antoinette Rouvroy : Si je peux terminer. J’ai l’impression d’être dans un débat télévisé, c’est marrant. En fait, c’est très ambivalent. Évidemment c’est une très bonne chose. Il faut que chacun maîtrise ; pour ne pas être complètement prolétarisés, nous devons maîtriser nos outils. Ça c’est certain, nous devons savoir.
En fait, comme Laurence le dit très bien, à condition qu’on connaisse les outils, eh bien on les démystifie forcément, on ne peut plus croire ces fadaises de singularité, etc., si on connaît les outils. On voit bien que c’est plus con qu’un chat, quoi ! Ça c’est certain, mais aussi, et de façon plus fondamentale dans le domaine qui me concerne plus directement qui est le domaine de la justice, on parle beaucoup aujourd’hui d’automatisation de la justice, de robotisation de la justice, d’algorithmisation de la justice, ça fait partie d’un gros projet qui concerne l’autonomisation des structures de la justice grâce à l’intelligence artificielle, par exemple. Le problème, évidemment, c’est sur quoi doit porter le débat, sur quoi doit porter la compatibilité. Est-ce que ce qui est important pour un justiciable c’est de savoir si l’algorithme qui a servi finalement, par exemple, à le garder en rétention alors qu’il aurait peut-être pu bénéficier d’une libération conditionnelle si l’algorithme n’avait pas détecté qu'il avait un score de risque supérieur à la moyenne de récidiver, est-ce que c’est ça qui est important ?, savoir si effectivement l’algorithme était fair, accountable and transparent ?, ou est-ce que ce qui compte pour cet individu-là c’est que sa situation singulière soit évaluée à l’aune de sa situation singulière et non pas à l’aune d’une modélisation statistique produite automatiquement par les algorithmes sur base de données émanant de la population carcérale dont il ne fait pas partie ? C’est quelque chose d’absolument fondamental.
Si vous voulez le risque de ce mouvement des fats algorithmes, c’est vraiment cette sorte de réductionnisme, c’est-à-dire qu’on va demander à une boîte noire algorithmique de posséder les qualités ou les vertus qui devraient, en fait, appartenir à l’ensemble du système socio-technique et non pas seulement à ce sous-système algorithmique. Ce qui compte ce n’est pas que des machines soient justes, à la limite, même, on s’en fout ! Je voudrais dire qu’un juge qui prend une décision qui ne soit pas trop absurde sur la base du fait qu’il était de mauvaise humeur parce qu’il s’est fait engueuler par sa femme le matin, il n’est pas très transparent non plus sur les raisons qui ont justifié sa décision. On ne va pas ouvrir la tête du juge pour voir s’il était bien fat à l’intérieur, s’il a mangé trop gras. Simplement, ce qui compte, c’est la justification dans un langage humain, compréhensible par les humains, de la décision concrète qui a été prise à l’égard du justiciable. Il ne s’agit pas de maintenir l’humain dans la boucle. Non ! C’est l’humain qui décide et qui assume la totalité de sa décision. Il peut, pour ce faire, se fonder soit sur une consultation de voyante soit sur un algorithme plus ou moins transparent soit sur l’avis de sa femme comme l’inspecteur Colombo, « ma femme me disait ce matin », peu importe comment il se justifie, mais c’est lui qui prend la décision.

Laurence Devillers : C’est lui qui est responsable. Entendu.

Antoinette Rouvroy : Il est responsable et il peut justifier dans un langage humain et contestable.

Valérie KokoszKa : Karolien

Karolien Haese : Ça nous ramène au fondamental de ce débat qui était les libertés humaines, les droits fondamentaux des humains, qui sont quand même à la base du principe de responsabilisation citoyenne à l’égard de sa propre individualité, à l’égard, quelque part, de ce que l’on peut attendre d’un système. On entend, encore une fois, une dérive vers les questionnements de la gouvernance algorithmique dont, quelque part, personne n’a envie d’entendre parler. On revient également à ce questionnement de dire, et là je rejoins complètement Laurence, qu’il ne faut pas prendre tout ou rien dans l’intelligence artificielle, si on peut appeler ça intelligence artificielle ou si on peut appeler ça, effectivement, des décisions algorithmiques.
L’outil est là. L’outil est puissant. Est-ce qu’on arrivera, ou pas, un jour à maîtriser parfaitement cet outil, ça c’est une autre question et je pense que seul l’avenir nous le dira. En attendant, on a quand même des questions qui sont des questions fondamentalement humaines. On a des questions qui sont liées à l’homme dans ses droits, libertés fondamentales et jusqu’où peut-on, à la limite, le dissocier de choix démocratiques. On le voit systématiquement : parce qu’il y a à un moment donné une crise et qu’on se dit que c’est le moment de promouvoir l’outil. C’est arrivé, effectivement, au tout début de la bulle Internet, on a promu l’outil pour pouvoir avoir une meilleure traçabilité financière. C’est arrivé encore une fois au moment des attaques terroristes en France où on sait que, par exemple, la loi a été très loin, heureusement cassée par le Conseil d’État, en disant « c’est finalement le moment de promouvoir cet outil parce que, vous allez voir, c’est pour votre sécurité ». Dans la Convention européenne des droits de l’homme et dans la Charte de 1966 de l’ONU lorsque l’on parle de sécurité publique, on peut, à la limite, mettre effectivement de côté les libertés fondamentales et les droits fondamentaux et utiliser un outil qui les réduit ; c'est posé comme question à la surveillance individuelle. Je vous le donne en mille, ça s’imposera également dans le cadre de la surveillance environnementale.
Il faut conserver cet outil, il faut le garder, il faut l’exploiter au mieux, mais on doit revenir sur le principe fondamental qui était au départ un choix démocratique basé sur les constitutions et la démocratie ayant un devoir et des droits citoyens.

[Problème de son]

Je reviens. Il ne faut absolument pas confondre, je pense, à un moment donné, l’outil qui est utile à l’intérêt public, soyons clairs, avec ce que l’on cherche à défendre ici, c’est-à-dire une implication citoyenne.

[Problème de son]

Je disais que c’est vraiment important finalement qu’on dissocie bien l’outil de l’engagement citoyen qui lui est inscrit dans les constitutions, qui lui est inscrit dans les droits fondamentaux. J’aimais beaucoup la réflexion d’Antoinette. On en arrive à croire que le droit doit venir au service de l’intelligence artificielle, on en arrive à croire que l’éthique doit arriver au service de l’intelligence artificielle, et que jusque les droits fondamentaux deviennent finalement des leviers pour pouvoir justifier une installation progressive de l’intelligence artificielle, si on peut l’appeler comme ça. On peut s’interroger de la légitimité de l’anxiété qui est créée aujourd’hui au sein de la population, on peut se demander pourquoi elle a si peur de ce big data alors que nous sommes tous d’accord autour de la table pour dire que ce big data a une potentialité de plus-value très importante pour l’intérêt public, pour la santé publique, pour le contrôle sécuritaire, pour le traçage financier, pourquoi est-ce que l’homme, aujourd’hui, en a tellement peur ? Sans doute parce qu’effectivement il ne se retrouve plus dans l’appel du droit qui a été son pilier, la possibilité d’aller chercher, à un moment donné, les droits fondamentaux, les droits civils, le droit pénal, qui sont devenus son pilier, on a l’impression qu’il est effacé et qu’il est mis au service d’un outil qui lui échappe. Qui lui échappe parce qu’on a un certain analphabétisme, effectivement, lié à l’algorithme. Qui lui échappe parce qu’on a l’impression que l’intelligence artificielle, les données, l’encodage, la collecte, le traitement, la structuration, la pseudonymisation et tous les vocabulaires compliqués lui échappent ou, plutôt, sont entre les mains d’une espèce d’élite intellectuelle et finalement le citoyen y trouve un très grand confort mais, en même temps, une très grande peur. Et, en même temps, on n’a pas un cadre et je parle bien d’un cadre, qui finalement nous dit « n’oubliez jamais que la surveillance – et je dis bien que la surveillance n’est pas péjorative, n’est pas négative – va jusqu’à un certain point et c’est la loi qui met ce certain point, qui met les limites ».
Quand la Stasi, dans le régime de la RDA, comptait 80 000 à 100 000 agents, 200 000 informateurs, soit 2,5 % de la population qui surveillait les 97,5 autres, l’absence de la démocratie ne découlait pas de la surveillance, l’absence de la démocratie découlait d’un cadre qui, finalement, a fait échapper l’outil aux citoyens. C’est ça qui est important pour moi.

Innovations, libertés fondamentales et contre-pouvoirs ?

Durée : 15 min 30
Visualiser la vidéo

Valérie KokoszKa : Là, pour moi, il y a quand même deux choses.
La toute première c’est qu’une des raisons, je pense, de la peur du citoyen c’est que très souvent l’intelligence artificielle, avec toutes les réserves qu’on peut avoir, puisque personnellement je pense que qu’il y a plus d’artifices que d’intelligence, notamment justement dans cette puissance de calcul, c’est qu’elle très fréquemment employée pour remplacer ce qui se fait déjà par des gens. Donc elle ne permet absolument pas de cumuler des intelligences et d’ouvrir, d’avoir une créativité. Mais cette créativité-là, de nouveau, pour quoi faire ? Au profit de qui ? Du bien personnel ? Du bien commun ? Et ça, ça doit pouvoir s’analyser.
Sur le plan, cette fois, de l’éthique, des libertés et du droit, il me semble qu’on peut aussi observer de nouveau une autre inversion. Il me semble que cette crise l’a bien mise en évidence, c'est celle de la proportionnalité des objectifs. On a l’impression que pendant tout un temps on pouvait limiter les libertés, de manière proportionnée, pour atteindre un objectif précis. Or aujourd’hui on a le sentiment que c’est l’inverse, que d’emblée ce sont les libertés qui sont proportionnées à des objectifs inconnus, c’est-à-dire qui n’ont pas été discutés de manière démocratique. On ne sait pas ce qui va se décider. Et toute la difficulté, me semble-t-il, est là. C’est-à-dire qu’on doit pouvoir avoir une créativité de ces outils. Il n’y a pas de raison qu’on se prive d’une créativité, de possibilités, mais il faut en avoir les conditions, il faut en avoir, quelque part, une certaine maîtrise. Ça doit rester, finalement, des outils au bénéfice du bien individuel et/ou collectif, avec un « prix », entre guillemets, que nous serions éventuellement d’accord de payer. Il me semble que ça, ça doit vraiment faire la base, le point de départ d’une position citoyenne avec effectivement une éducation qui ne permet pas de comprendre et d’accepter ce qui est proposé, mais éventuellement de le souhaiter et de le vouloir.
Je ne vois pas pourquoi très souvent le discours c’est celui-là, c’est celui de l’acceptabilité sociale des outils.
On est vraiment très peu ambitieux finalement, parce que accepter un outil, mon Dieu quelle tristesse ? Il me semble que les seuls qu’on peut vouloir, comme citoyen, comme humain, ce sont ceux qui sont désirables pour nous. Me semble-t-il !
Je voulais juste ajouter quelque chose, un élément parce que de nouveau je crois qu’il est important, et pour moi ce n’est pas seulement une question éthique, c’est une question de liberté. Une liberté fondamentale ce n’est pas quelque chose qu’on défend, ce n’est pas quelque chose qu’on protège, c’est quelque chose qu’on exerce et on l’exerce dans un lieu, dans une matière, avec ce que l’on est.

Je pense que là c’est important aussi de pouvoir réfléchir à nouveau à ce que ces dispositifs font à l’exercice concret, matériel, de nos libertés, non pas sur le fond du droit ou de l’éthique.

Laurence Devillers : C’est tout à fait intéressant parce que le temps est vraiment pour moi. C’est-à-dire qu'actuellement la mise en œuvre de l’IA est faite à une allure incroyable ; les productions de publication c’est la même chose. On a accéléré, on est tous sur le temps court. Moi je mets ça sur une origine qui n’est sûrement pas la seule, en tout cas cette information en continu qu’on a maintenant. Les premières radios ou télés à faire du continu c’était il n’y a pas si longtemps et, depuis, ça s’est complètement déchaîné sur toute la toile. On vous demande maintenant une attention directe et une réaction directe, c’est ça le système 1 et à-dessus il y a une manipulation des foules qui est fondamentale.
Pour revenir à l’idée du droit par rapport à ça, c’est qu’il faut un temps plus long pour arriver à mettre en œuvre les lois qu’il faudrait. Il faut un temps plus long pour que la politique et la gouvernance soient capables de prendre en charge les choses. À l’heure actuelle on court après la déferlante qui arrive, pas forcément que de l’Europe, qui arrive avant tout de l’Asie et des États-Unis. On subit totalement. Je suis tout à fait d’accord.
Comment fait-on pour inverser les choses ? Je pense qu’il faut arrêter d’être trop sceptique, il faut faire. Il faut faire en prenant en compte, exactement ce que vous avez dit tout à l’heure qui m’impacte, qui m’intéresse, cette co-adaptation avec les machines.
Je parlais quelquefois de coévolution parce que j’avais vu ce mot, mais évidemment que la machine n’évolue, elle s’adapte, à la limite ce n’est même pas sûr que ce terme soit suffisamment non-anthropomorphique pour être utile, mais en fait on n’a pas beaucoup de termes pour expliquer le comportement de ces machines créatives.
Effectivement, en fonction de ce qu’on va faire, de ce qu’on va dire, la machine va s’adapter. Mais nous sommes totalement comme cela tout le temps, avec tout.

Il y a par exemple un truc très parlant pour ça, à l’Ircam [Institut de recherche anti-contrefaçon de médicaments], qui était fait par des chercheurs : vous êtes en train de parler, vous êtes enregistré, on vous restitue la voix dans votre casque, vous entendez, et j’élève le pitch, j’élève le fondamental, je le mets plus haut, apparemment les voix plus hautes vont paraître plus positives. Eh bien sur une statistique suffisante, on montre que quand vous entendez votre voix plus haute, vous êtes plus heureux. Vous imaginez à quel point notre cerveau nous manipule et nos émotions sont prégnantes partout. Donc les biais cognitifs et cette boucle que nous utilisons sans arrêt entre humains, pour nous comprendre, pour cocréer, pour engendrer des idées, des concepts et tout ça, n’existe pas dans les machines ; le haut niveau n’existe pas, c’est de la sémantique ontologique qu’on a mise et qui n’est pas créative. Ce qu’elle sait créer c’est du bas niveau, c’est effectivement l’appropriation de micros pixels qui sont ensemble, on va débusquer les problèmes sur les cancers.
Si on a cette connaissance des capacités réelles des machines, on peut les utiliser au mieux pour nous, pour éviter de tomber dans la dépendance de cette co-évolution.
Moi j’en parle sur l’affectif, en plus, qui va très loin si on n’est pas suffisamment à même justement de se dégager.
Quand vous parlez de désirabilité, je ne sens pas chez les gens cette désirabilité de mieux comprendre ou d’expérimenter, de jouer avec tout le temps. Ils sont pressés d’avoir un objet désirable et pas tellement la fonction, et en ça les GAFA sont très forts, beaucoup plus forts que nous. Qu’est-ce qu’il faut renforcer ? Pour moi il faut renforcer des objets qui seraient plus inventifs, plus créatifs, on en verrait l’utilité. La télémédecine, je suis désolée, pendant le covid, on en a vu l’utilité. On a vu effectivement qu’un médecin va avoir moins peur de voir ses patients qui étaient peut-être atteints du covid et, de la même façon, les patients se rendent dans un lieu où effectivement il y a le virus. On s’est rendu compte que la distanciation était importante. On s’est rendu compte aussi qu’on avait besoin d’interaction sociale avec les autres, on avait besoin d’humanité, on a été dans un grand manque de ça.
Donc comment savoir, comment faire que les choses soient complémentaires et, en tout cas, ne pas avoir peur des machines, c’est à mon avis très important. On peut inverser ça, dès lors qu’on aura des outils qui seront faciles à montrer et qui ne sont pas bluffants comme ce que font les marketings des GAFA, des gens qui veulent vous vendre tout et n’importe quoi. On va les acheter juste parce que c’est beau et que ça fait fashion ou je ne sais quoi.
Du coup, il est important de comprendre qu’il faudrait qu’en Europe on ait cette puissance possible. Ça veut peut-être dire, si je prends juste le gouvernement ou même ce qu’on fait, qu’il faudrait sûrement renforcer la recherche qui est quand même très basse par rapport à ce qu’on fait en Asie. On avait moins de 2 % en France sur la recherche qui contient aussi tout ce qui est crédit d’impôt recherche. Quand on regarde statistiquement ce qu’est le crédit d’impôt recherche, ça va beaucoup aux banques, aux industriels, pas forcément pour faire de la recherche fondamentale sur la créativité des machines, pour qu’on soit effectivement plus en capacité pour comprendre ce qu’elles font.
Éthique, si vous n’aimez pas ce mot qui est ultra utilisé partout effectivement pour faire du marketing, moi je m’en fiche, je ne l’utilise plus. Ce n’est pas ça l’idée. C’est de faire que les systèmes soient plus transparents, plus explicables et tout n’est pas facile à expliquer et demande encore de la recherche et, en même temps, qu’on ait ce soin de faire que dans l’interaction, par exemple avec des agents conversationnels que je traite comme il se doit, c’est-à-dire avec beaucoup de précautions en ce moment, eh bien, par exemple, qu’on puisse faire que la machine s’exprime comme une machine et qu’elle informe de ce qu’elle est capable de faire, ce qui n’est pas le cas. Il n’y a aucune juridiction, il n’y a aucune vérification de rien dans les objets que sont par exemple Google Home ou Alexa Amazon qui sont à la maison. Quand je dis à la machine « j’ai peur » ou « je suis triste », la machine est capable de me dire « vous êtes triste, mon dieu, je vais vous donner un truc et tout ». Et si vous vous amusez un peu, si on apprend à tout le monde à jouer avec ces systèmes qui sont bêtes, au fond, parce qu’ils ne sont que des systèmes entraînés, ils ne vont faire que des simulations, à un moment donné on peut très bien rentrer dans l‘incongruité. C’est-à-dire qu’à force de poser la même question, finalement la machine vous répète la même chose parce qu’elle ne sait plus. On est arrivé aux limites de son univers des possibles. On est encore devant des machines qui sont très simples au niveau sémantique pour pouvoir les traquer et les mettre en erreur facilement. C’est important de savoir déjouer, en fait, ces choses invisibles comme vous avez dit.
C’est vrai que lorsqu’on demande de faire un test perceptif avec un ensemble de gens devant un système conversationnel, donc qui dialogue avec la personne en langage naturel, vous mettez le même système sur votre téléphone ou alors sur un Google Home ou alors sur un robot humanoïde, prenons ça, tout le monde pense qu’il est plus intelligent lorsqu’il est sur le robot humanoïde.
Donc on a des biais dans notre perception qui sont assez importants et, pour moi, ces objets peuvent nous permettre d’avoir une meilleure créativité parce qu’ils calculent beaucoup plus vite que nous, ils ont une mémoire d’éléphant par rapport à nous, mais ils ne sont en rien humains. Ils n’auront pas de capacité de ressentir, etc., même si à l’heure actuelle j’ai des collègues – puisque je travaille sur l’affective computing donc l’intelligence affective – qui travaillent sur une espèce d’homéostasie, de simulation de l’homéostasie c’est-à-dire de la douleur et du plaisir dans un robot qui serait capable, avec des capteurs sensoriels, de comprendre quand vous le caressez ou quand vous le frappez et d’interpréter cela en termes d’intentions pour revenir à un équilibre. Mais tout ça ce n’est que de la simulation. Si demain on est devant des robots qui nous ressemblent totalement, qui simulent des choses comme ça et qui nous disent « vous êtes formidable », risque d’éloignement des humains, risque d’attachement inconsidéré surtout pour des personnes vulnérables, des enfants, dans l’éducation. Donc c’est dramatique. C’est ce sujet-là que j’essaie de porter le plus loin sur l’Europe et dans les discours avec des comités sans penser qu’on va tout résoudre. Je ne sais pas si la démocratie participative est capable d’anticiper ça, parce qu’on n’est pas au courant et on ne peut pas tout demander à la démocratie participative.

Irénée Regnault : C’est très intéressant, sincèrement, mais j’ai un petit point qui me gêne encore, c’est que vous parlez comme si le futur était déjà écrit en fait. Un assistant vocal n’est pas un outil de créativité.

Laurence Devillers : Non. Jamais je ne dirais ça.

Irénée Regnault : J’en conviens, mais c’est l’impression que ça m’a donné.
Est-ce que le droit et l’éthique vont être dédiés ces 30 prochaines années à construire les limites disons possibles et acceptables des milliards d’objets qui seraient déployés pour remplacer ou modifier le travail des travailleurs, pour faire en sorte que vous n’ayez plus quelqu’un au téléphone, je n’en fais pas un absolu, un robot qui commandera la pizza à vote place, pour aller, finalement, s’insinuer absolument dans toutes les strates de la société, du commerce, de toutes les relations que vous allez avoir jusqu’à l’Ehpad où finalement vous aurez peut-être un robot. Je ne leur jette pas la pierre, je n’ai rien contre les robots, mais j’ai quand même un gros doute sur cette régulation, encore une fois toujours a posteriori. Quand est-ce qu’on se donne aussi, à mon avis vraiment pour lier cette question à la question environnementale, l’opportunité de dire stop ?

Laurence Devillers : Bien sûr.

Irénée Regnault : Je prends un seul exemple. Pour moi il manque aujourd’hui cruellement de démocratie, de contre-pouvoir, au global, dans ces développements techniques. Aujourd’hui les seuls qui sont capables d’arrêter, de freiner la surveillance et on l’a vu, il a fallu la mort d’une personne, de Floyd aux États-Unis, pour que Amazon, Microsoft, cessent, pour le moment, de vendre de la reconnaissance faciale à la police. Pendant ce temps-là, l’Europe est en train de tergiverser sur les conditions éthiques qui vont rendre ce truc possible, qui vont en déployer partout. En fait, on n’a même pas de réflexion sur : est-ce que ces outils en soi, et c’est la question qui était posée précédemment, sont démocratiques ? Il y a bien des outils qui sont démocratiques – j’y vais un peu à gros traits – et des outils qui ne le sont pas. Un outil qui vous flique en permanence dans la rue, qui vous donne la sensation d’être fliqué, qui vous bride ! À Londres des études ont été faites avec des étudiants et ceux-là ont déclaré que s’ils se savaient surveillés par reconnaissance faciale pendant une manifestation, ils seraient 28 % à ne pas y aller.
Et les biais j’ai envie de dire est-ce que c’est la question ? Ça fait dix ans que systématiquement, dès qu’il y a des données, elles fuitent. C’est quasiment une loi d’airain dans le numérique de toute façon : quand il y a des données quelque part elles finissent par fuiter quelque part d’autre malgré toutes les régulations et tous les chercheurs en cybersécurité vous l’expliquent, il n’y a jamais rien de totalement sécurisé.
Donc quand est-ce qu’on se donne aussi l’opportunité, pour des raisons de préservation des libertés et pour des raisons de consommation énergétique, de dire stop, on n’en veut pas, en fait. On ne veut pas de ces milliards d’objets.
La question des données est importante parce que c’est elle aujourd’hui qui sert aux associations à saisir le droit, je pense à La Quadrature du Net qui peut faire interdire certains systèmes grâce au RGPD2 [Règlement général sur la protection des données], mais ce n’est pas la seule question. Le RGPD nous coince dans une vision très individualiste des données, finalement, c’est toujours les données, l’individu qui se retrouve toujours seul face à la structure, qui ne peut rien faire. Or ces problèmes ne sont pas des problèmes personnels, individuels, ce sont des problèmes collectifs.

Confiance ou défiance des citoyens dans le numérique ?

Durée : 14 min 02
Visualiser la vidéo

Antoinette Rouvroy : Je voulais revenir sur cette question, ce postulat suivant lequel le public est méfiant. Moi je le trouve au contraire d’une confiance absolument naïve envers tous ces dispositifs. Il y a littéralement un amour pour ce qu’on appelle encore de la surveillance, que moi je n’appellerais peut-être plus comme ça, puisque personne ne veille dans cette surveillance et personne ne regarde plus personne. Je m’explique : cet amour, cette sorte d’autorité un peu incompréhensible qu’ont pris ces dispositifs, justement par une sorte d’aura de neutralité axiologique.

Laurence Devillers : Non, c’est faux ça !

Antoinette Rouvroy : C’est bien parce que ces dispositifs nous dispensent d’avoir à faire de la politique, nous dispensent de nous rencontrer dans l’espace public pour délibérer à propos de la chose publique qui est, comme le disait très bien Alain Desrosières, irréductible à la seule juxtaposition des petits intérêts de chacun, c’est bien parce qu’au contraire ces dispositifs nous individualisent et promettent à chacun de le gaver par avance de tas de choses par rapport auxquelles il n’a même pas eu l’occasion de forger son désir, c’est bien parce qu’on est dans cette sorte d’économie de la pulsion et que ça flatte précisément l’individualisme méthodologique des uns et l’individualisme consommateur des autres, que tout cela ne suscite véritablement pas du tout la méfiance, mais au contraire une très grande confiance.
Ce que à quoi nous avons à faire c’est à une promesse de désintermédiation radicale et de dispense des institutions. L’idée serait finalement, je pousse le bouchon un peu plus loin, de pouvoir se passer complètement de toutes les institutions. Qu’est-ce que c’est qu’une institution ? Jacques Rancière disait qu’une institution c’est d’abord ce qui fait la distinction entre ce qui relève du bruit et ce qui relève du signal. Dans la démocratie athénienne ancienne, le bavardage de femmes, comme moi par exemple, relèverait du pur bruit, le papotage, ça ne compte pas comme signal, c’est du bruit, tandis que ce que Irénée dirait, par exemple, notable comme il est, relève véritablement du signal.

Laurence Devillers : C’est important.

Antoinette Rouvroy : Les dispositifs numériques mettent tout ça à plat et c’est aussi pour ça qu’il y a une sorte d’aura justement de très grande démocratie, mais une démocratie totalement désintermédiée.
Donc cette idée d'un accès au monde en très haute définition, une définition qui nous dispense ou qui nous émancipe du joug de la représentation, et dieu sait comme c’est important aujourd’hui, cette idée que la représentation par le langage humain est toujours biaisée. On parle des problèmes des racisés, le langage lui-même est beaucoup trop colonial, etc. À cela, qu’apporte comme réponse cette sorte d’immanence numérique, c’est précisément de dire « vous n’avez plus rien à représenter puisque le monde parle par lui-même à travers des phéromones numériques que vous émettez ou que les machines produisent à votre propos ou à propos des relations que vous avez avec vos objets ou que les objets ont entre eux quand ils chuchotent à votre propos ». Cette désintermédiation est absolument, pour beaucoup, bienvenue, elle n’est pas source de méfiance, elle est bienvenue.

Irénée Regnault : On n‘a jamais vu de manifestation contre le big data. On a vu des manifestations contre la 5G, contre la reconnaissance faciale. Tout à l’heure on parlait de méfiance envers le big data, moi je ne vois pas méfiance envers le big data si ce n’est chez certains experts ou associations techno-critiques durs mais pas dans la société. On l’a dit au début, tous les gens sont sur Facebook et contents de l’être.

Laurence Devillers : Pas par paresse, parce que c’est pratique.

Antoinette Rouvroy : Et qui sont tout de suite caricaturés comme ayatollahs de la vie privée alors que l’enjeu n’est pas du tout la vie privée comme on l’a déjà dit.
Il y a aussi un autre élément que je trouve assez intéressant : dès qu’on se rend compte qu’il y a un problème de sous-financement d’un service public, que ce soit la justice, l’éducation ou la santé, qu’est-ce qu’on propose ? On propose la transition numérique. Vous voyez ! Finalement c’est une sorte de feuille de vigne qu’on met pour montrer qu’on fait bien quelque chose mais sans assumer la charge de véritablement gouverner qui serait la charge de faire des choix d’investissement conséquents dans tous les domaines, le domaine de la justice par exemple qui est vraiment sous-doté, par contre qu’est-ce qu’on pousse pour l’algorithmisation de la justice qui doit soi-disant résorber l’arriéré judiciaire ! Mais ça transforme les métiers, évidemment, d’une façon absolument substantielle, un jugement algorithmique ne relève plus du tout de la justice.

Laurence Devillers : Oui. Ça vous l’avez dit, bien sûr.

Karolien Haese : Je peux peut-être intervenir deux petites secondes. Je pense, encore une fois, que l’algorithmisation de la justice ou de l’enseignement ou de la médecine ou de l’environnement, du contrôle sur l’environnement, ce sont effectivement des outils qu’aujourd’hui on doit pouvoir pousser en avant. On doit pouvoir les pousser en avant sans l’anxiété d’un shift de souveraineté vers la machine. Tout le problème est là aujourd’hui. L’anxiété de la population, qui n’est pas nécessairement exprimée effectivement dans les grandes manifestations anti-big data, provient du fait qu’en réalité on ne sait pas où on va. À partir du moment où on ne sait pas où on va, on peut, et je rejoins Laurence, vendre pratiquement n’importe quoi, vendre des promesses, vendre l’efficience algorithmique qui est, en fait, une efficience qui va durer le temps de constater qu’en réalité ça ne fonctionne pas comme on voudrait que ça fonctionne.
De nouveau on a ici des outils qui sont des outils qu’il faut pousser en avant, mais avant de pousser ces outils en avant, il faut non seulement démystifier, mais comprendre d’où vient cette anxiété populaire lorsqu’elle est exprimée assez curieusement pour un tracing covid et lorsqu’elle n’est pas exprimée parce qu’on est en train de parler de Facebook. C’est tout à fait différent de donner ses données à Facebook et de faire une photo avec son chien en se disant c’est effectivement une entreprise privée qui va garder ma photo, que de dire, et je vais reprendre l’exemple de Frank Robben qui était bien connu en Belgique sur les banques centrales, de concentrer et de centraliser toutes les données entre les mains d’un organisme d’État qui va en même temps effectivement collecter, structurer, anonymiser, user et finalement appliquer. Donc il y a une gradation réelle entre ce que l’on considère déjà aujourd’hui comme étant normal de donner, même à la limite confortable, et entre ce besoin, on le voit effectivement pour des raisons financières, pour des raisons d’efficience, pour des promesses, de concentrer, de centraliser toutes les données entre les mains finalement d’un État dont on ne sait pas où il va aller.
Donc cette méfiance est en train de s’accroître et je ne suis pas sûre qu’à la prochaine crise, qui sera probablement effectivement une intervention écologique avec une traçabilité écologique, on ne va pas avoir, à un moment donné, avoir un stop en disant cette fois-ci ça suffit. Bientôt on aura effectivement des caméras qui vont nous dire « vous avez roulé à 111 km/h donc vous avez une empreinte carbone qui a augmenté de tant, donc une amende de tant ». Je ne dis pas que c’est demain mais c’est quelque chose qui serait techniquement possible.

Irénée Regnault : S’il y en a bien qu’on n’embête pas, ce sont les automobilistes !

Laurence Devillers : Ce n’est pas vrai ! Non ! On a parlé du 110 km/h, tout le monde a dit ça.
Je vais revenir sur un truc sur la représentation des femmes si vous voulez bien. Pour rebondir sur ce que disait Antoinette j’ai une petite phrase que je dis partout : 80 % des codeurs et des gens qui sont impliqués dans le numérique sont des hommes, d’ailleurs 80 % c’est peut-être en dessous de la réalité, et 80 % des objets dits intelligents capables de nous parler, etc., ont des noms féminins, des voix féminines, voire des apparences féminines. Donc qu’est-ce qu’on est en train de faire à travers ça ? La représentation de la femme c’est un assistant virtuel un peu frustre qu’on peut éteindre quand on veut. Cette prise en compte, back row comme vous disiez, me gêne beaucoup ; c’est un des problèmes. Un autre c’est la solidarité par exemple dans l’assurance. Pour chaque personne si on sait absolument quel est le risque précis et si on surveille tous ses faits et gestes, peut-être qu’il n’y aura plus cette solidarité possible. Or il faut maintenir cette solidarité dans la société, les fondements même de notre intelligence c’est d’être en groupe.
Pour moi, c’est toute la tension qui existe entre des outils qui, finalement, ne sont pas tellement que pour l’individu — si ça leur permet quand même, peut-être, de mieux se comprendre de temps en temps ce n’est pas mal —, mais c’est surtout comment on fait pour gérer collectivement les outils numériques. C’est à ce niveau-là qu’on devrait les gérer pour en tirer le maximum de profit et pas en remplacement d’un humain x fois. Mais, en même temps, c’est quand même assez anxiogène d’imaginer que nous allons être de plus en plus dans ces deux mondes, à la fois physique et non-physique.
Là il y a besoin d’éduquer, encore une fois je reviens sur ces sujets. La réalité virtuelle, le fait de passer d’un monde à l’autre, ce n’est pas si évident. Je pense que ça va arriver, indéniablement. Est-ce qu’on peut une fois pour toutes dire arrêtons d’être sceptiques, arrêtons d’avoir peur. Si on anticipait en essayant de mieux comprendre au mieux ce qui va se passer et puis, pour moi, il faut vraiment renforcer les expérimentations, c’est-à-dire comment on peut inclure les gens. À chaque fois que j’ai parlé devant des auditoires assez larges où il n’y avait pas beaucoup de gens qui connaissaient vraiment, finalement il suffisait qu’il y ait dans la salle une infirmière ayant travaillé dans un univers avec des personnes âgées pour dire d’un seul coup : « Vous avez raison. À un certain moment je n’arrive plus à être en phase avec quelqu’un parce que c’est trop lent. Il réagit de façon tellement différente que peut-être une machine, là, pourrait réagir de façon à relancer l’interaction sociale ». Vous levez les sourcils. Je m’explique.

Par exemple le robot Paro qu’on prend dans les bras, je l’ai vu pris dans leurs bras par des personnes Alzheimer très avancées, qui ne réagissaient plus du tout à l’interaction sociale. Ce truc qui se présentait finalement comme un animal qui se tortille, qui répond à vos caresses, ramenait un sourire sur les visages, physiquement, c’est-à-dire que le toucher physique de cette chose, qui bougeait avec vous, ramenait cet aspect vivant et les gens autour venaient parler à la personne. On parle beaucoup d’isolement des autres, de perte d’interaction sociale, en ayant fait des tests dans des Ehpad je me suis rendu compte plusieurs fois qu’on pouvait médier par ces machines la sociabilité entre plusieurs personnes qui se sont éloignées. Allez voir dans les Ehpad, il y a un travail qu’on pourrait mener non pas parce que les gens ne sont pas bien, mais en complément de ce qui existe ; avec ces outils, peut-être qu’on aurait justement un lien qui n’est pas les isoler totalement. C’est en ça que c’est compliqué, c’est en cette compréhension de ce que ça peut apporter à la fois en créativité dans des domaines. On n’a pas tout l’univers. Si je pense au juridique par exemple, je crois que c’est dans l’affaire Grégory qu’ils ont remonté les pistes différemment en trouvant finalement peut-être une possibilité de culpabilité qu’ils n’avaient pas vue alors que tous les documents étaient là.
Quand on compare l’intelligence humaine à ce qu’on sait faire avec une machine qui joue par exemple au jeu de go et qui bat les humains, on ne compare pas humain/machine. On compare 100 ingénieurs extrêmement brillants avec une capacité d’énergie fulgurante, ce qui n’a rien à voir avec cette comparaison et, encore une fois, ce n’est pas du tout la même intelligence qui est mise en jeu. J’évite aussi de comparer. Je pense que dans la comparaison on fait des erreurs. L’anthropomorphisation des objets nous amène encore plus à croire cela.
Dans le langage il y a ce pouvoir, en fait, de manipulation réelle. Mon sujet est de faire parler les machines ou de faire qu’elles comprennent. L’intelligence affective dont j’ai parlé tout à l’heure ce sont trois choses technologiquement, ce n’est pas du tout comprendre parce que la machine ne comprend rien. C’est décrypter dans le langage parlé à travers la musique de la voix et les mots un état émotionnel, je ne vais pas dire les émotions de la personne parce qu’elles sont cachées, mais ce qu’elle a exprimé. Et, de l’autre côté, c’est synthétiser et dire « je vous aime, vous êtes formidable ou je ne sais pas quoi ». Au milieu il n’y a pas énormément d’informations utilisées, ce sont des stratégies, c’est encodé c’est encore soit à partir de big data soit avec des règles d’expert. En tout cas ce n’est en rien intelligent, en rien ! Et c’est ça qu’il faut arriver à décrypter, c’est bien montrer qu’on se fait manipuler par ces objets.

Je travaille sur le nudge qui n’est même pas une manipulation visible, c’est un peu une suggestion ; on vous met devant le nez quelque chose pour que vous le preniez. Le nudge c’est facile : si vous prenez une chambre d’hôtel avec Internet, il y a une petite ligne rouge en dessous qui va vous dire « 25 autres personnes sont en train de regarder cette chambre » et là vous dites « je la prends tout de suite parce que je ne l’aurai pas ». C’est travailler sur ces biais.

Valérie KokoszKa : C’est absolument de l’influence.

Laurence Devillers : C’est de l’influence ! On ne se rend pas compte à quel point. De la même façon, ce que j’ai dit tout à l’heure qui n’est juste que renforcer les stéréotypes vis-à-vis des femmes dans certains cas, c’est-à-dire qu’elles sont plus douces, plus proches pour soigner, plus ci, plus ça, les stéréotypes vont être énormément renforcés par tous ces outils et ça, c’est très invisible !
Mes peurs qui sont en connaissance de cause de ces objets et de la manipulation qu’il y a derrière sont réelles aussi. Il ne faut pas ne pas avoir peur. Il faut avoir peur pour des choses qu’on a étudiées, non pas peur pour des choses qui n’existent pas et qui sont de la science-fiction.

Conclusion(s) - Les innovations numériques, au service du bien individuel et collectif ?

Durée : 21 min 05
Visualiser la vidéo

Antoinette Rouvroy : Ce sont des non-conclusions parce que ce genre de débat est interminable, mais il faut bien terminer quand même, c’est ce que le juge fait quand il tranche sur fond d’incertitude ; ce n’est pas fini, mais il doit finir quand même.
Je dirais que le gros risque c’est de se complaire dans une sorte d’état science-fiction. En fait de se satisfaire, finalement, d’un mode de fonctionnement qui serait dicté par un impératif d’optimisation d’absolument tout. Chacun optimise, ce n’est plus la lutte des classes, c’est la lutte des places, et chacun finalement est en concurrence avec tous les autres à l’échelle du phéromone numérique, c’est-à-dire du signal absolument insignifiant mais qui va être recomposé, compilé, comparé avec les signaux émis par les autres et c’est comme ça qu’on est dans une sorte d’économie de la réputation où tout le monde est noté, c’est l’ubérisation, « je vais avoir combien d’étoiles ? Et toi tu as combien d’étoiles ?, etc. », et c’est ça, beaucoup plus que la standardisation des comportements.
Le risque, au contraire, c’est finalement d’être gouverné hors les normes parce qu’il n’y a plus de normes ; on n’est jamais assez normal ! On n’est jamais assez souriant quand on est chauffeur d’Uber, etc. On est gouverné hors des normes mais on se dilue dans les flux, parce c’est impossible d’exister en tant que sujet dans ce genre de contexte. D’ailleurs le sujet est complètement évacué, c’est pour ça que s’arc-bouter sur la question de protection des données personnelles, etc., je pense que c’est très utile la protection des données personnelles mais pas pour ici, pas pour ce contexte de données massives, etc.. La donnée personnelle n’existe pas, la donnée n’est jamais que relationnelle. Ce qui donne une utilité potentielle à une donnée personnelle c’est la possibilité qu’elle a d’être mise en corrélation avec d’autres données qui n’ont absolument rien de personnel par rapport au sujet. Ça c’est une chose.
L’aspect très collectif me semble absolument important.
Par ailleurs, je ne résiste pas à la tentation, un peu perverse je dois dire, de répondre à Laurence Devillers une phrase qui n’est pas de moi, que je n’assume pas personnellement, c’est vraiment la lâcheté absolue, c’est Giuseppe Longo, mathématicien. Dans un colloque au Collège de France organisé par Alain Supiot à la fin de sa carrière, j’étais dans un panel avec Giuseppe Longo et il a dit : « Un monde dans lequel les petits-enfants et les petits chiens ne font plus caca est un monde de merde ! ». J’ai trouvé ça assez terrible ! Certes, je n’irais pas jusque-là, c’est une blague évidemment, mais ça rejoint mon souci pour, finalement, cette obsession immunitaire du tout calculable. L’enjeu ce n’est plus de gouverner, en fait, le sol que nous avons sous nos pieds, ce n’est plus de gouverner les personnes, ni même à la limite leurs comportements, mais d’immuniser ce qu’on peut bien appeler le capitalisme et les flux capitalistiques contre tout ce qui logiquement devrait les interrompre urgemment étant donné les urgences du moment c’est-à-dire la vie, la vie même, dont la caractéristique essentielle est précisément l’altération imprévisible. Les sujets, les sujets individuels et collectifs sont ici complètement contournés par des dispositifs de profilage, etc., qui ne s’intéressent finalement qu’à des fragments infra-personnels d’existence quotidienne qui sont traités à l’échelle industrielle, qui sont reliés statistiquement à des modélisations qui sont établies à l’échelle industrielle, des modélisations qui sont, au départ, assez impersonnelles mais prédictives. Ce qui est court-circuité c’est vraiment le sujet individuel mais surtout collectif et politique et enfin, le monde lui-même.
Croire qu’on peut substituer au fait d’interroger le monde dans sa matérialité, qu’on peut substituer à l’enquête, à des preuves, à l’examen dont Michel Foucault a tellement bien parlé, qu’on peut substituer à ça simplement les data sciences, c’est comme si les data sciences allaient pouvoir nous dire quoi que ce soit alors qu’en fait ce qu’elles produisent essentiellement – je caricature un peu parce qu’on a peu de temps – ce sont, si vous voulez, des fenêtres d’opportunités, ce sont des risques et des opportunités. Ça donne finalement une prise à l’advenir. C’est-à-dire que ça permet à certaines entreprises, par exemple, de coloniser quelque chose qui précédemment était totalement hors d’atteinte qui est la potentialité pure, c’est-à-dire notre avenir.
L’enjeu est véritablement politique. C’est ce qu’il faut interrompre. Nous, en tant qu’êtres humains qui avons des corps qui sont situés, nous ne pouvons nous relier les uns aux autres, donc nous confronter à de la politique c’est-à-dire à ce qui n’a pas été prévu pour nous et qui engage bien plus que nous, qui engage ce qui n’a pas laissé de traces numériques parce que c’est l’avenir — les enfants de nos enfants n’ont pas laissé de traces numériques et ne sont pas représentables aujourd’hui — pour donner voix à ce qui n’a pas de voix aujourd’hui, nous sommes bien obligés d’interrompre tout ça de temps en temps. Il faut de l’espace, il faut du temps et il faut de la persona c’est-à-dire de la personne juridique. Je pense que la personne juridique, le sujet de droit, n’est absolument pas soluble dans le numérique.

Valérie KokoszKa : Oui, absolument. Irénée.

Irénée Regnault : Ça va être dur de passer après cela. Merci Antoinette. Quoi dire ? J’ai quand même l’impression, hormis cette dernière intervention, qu'on rétrécit un peu l’éléphant dans la pièce.
La plupart des technologies qui sont déployées, les technologies de surveillance le sont, en France en tout cas, plutôt par des entreprises, des entreprises qui pratiquent un lobbying intense sur nos élus. Je pense qu’on aura beaucoup de mal à interroger la démocratisation des choix techniques, scientifiques, si on n’interroge pas la provenance des capitaux et les idéologies sous-jacentes, les systèmes économiques sous-jacents.
Peut-on faire une technologie humaine, centrée sur l’humain, je ne sais pas ce que ça veut dire mais ça veut sans doute dire quelque chose, dans un système capitaliste qui cherche la performance, qui fait de l’innovation pour de l’innovation, ça c’est une question.
Il y a un exemple que je trouve rigolo, on l’a décrit dans notre bouquin qui va sortir, on parle, à un moment donné, de l’automatisation des caisses par exemple dans les hypermarchés ; vous allez me dire que ce n’est pas un algorithme, c’est une machine, finalement c’est quand même un petit peu comme un algorithme. On met des caisses automatiques dans les hypermarchés pour faciliter le travail des caissières, c’est ce qu’on dit, en fait c’est tout l’inverse, ça détruit complètement le collectif de travail et le travail du caissier ou de la caissière, tout en réduisant éventuellement une partie des emplois. Donc ça transforme, ça réduit, ça nuit à l’emploi et ça automatise, ça a conforté un système d’hypermarché qui, et on le sait bien, n’est pas souhaitable, les hypermarchés en périphérie des villes qui, eux-mêmes, vont conditionner tout un étalement urbain qui est derrière. Regardez où est-ce qu’il n’y a pas de caisses automatiques, c’est souvent dans les coopératives. Juste pour avoir ce rapport à la technologie, ce rapport dans l‘entreprise, en tout cas dans l’entité productive, ce n’est pas toujours une entreprise, ça peut être autre chose.
Comment, Laurence Devillers par exemple, puisque vous le suggérez, on peut aller au contact de gens pour faire des bonnes machines avec eux ? Eh bien ça pose la question des objectifs qu’on poursuit, des objectifs socio-économiques qu’on poursuit dans la vie. Et dans la vie il y a la sphère productive qui est aujourd’hui à part de la vie, elle n’y est pas comme avait dit Polanyi3, elle est encastrée dans la société. Cette question-là est quand même sous-jacente.
Aujourd’hui, si on a une intelligence artificielle complètement pourrie, qui suit des objectifs complètement hors-sol et qui fait strictement n’importe quoi, qui accélère, je n’ai pas d’autres mots pour le dire, on est en train d’accélérer, ce qu'il ne faudrait pas faire, mais c’est bien parce que qu’on ne se pose pas ces questions. Si on veut revenir à la question démocratique, posons-nous aussi la question du cadre socio-économique dans lequel nous vivons, du rôle des entreprises dans une société, je crois qu’on est aussi beaucoup à s’en rendre compte, il y a eu la loi PACTE [Plan d'action pour la croissance et la transformation des entreprises], des choses qui bougent un petit peu, ça va quand même très lentement. Si on n’interroge pas ça, concrètement on va passer à côté du problème, on va continuer avec les mêmes formes juridiques, avec les mêmes objectifs, avec la même éthique, avec à la fin des objets seront déjà là et qui auront pollué et sans tenir compte des transformations que cela aura pu opérer chemin faisant.

Valérie KokoszKa : Je pense que je peux faire la transition entre vous parce que je suis assez d’accord, en tout cas, sur vos deux interventions.
Déjà ne fut-ce que sur la question de l’individu. Pour moi effectivement, en posant la question de la liberté fondamentale, c’est d’abord celle de l’engagement et de l’engagement de l’individu, de la personne dans le monde dans lequel il est. Et cela avec tous les possibles, non pas au sens de l’avenir, mais au sens de l’inédit, au sens de ce que l’on est sans cesse capables de découvrir en en faisant les preuves, ce qui nous rend littéralement créatifs là où la machine ne peut, au mieux, qu’être innovante. C’est-à-dire avoir finalement une facilitation, une amélioration d’un processus qui est déjà connu.
Je pense que seul l’humain est créatif parce qu’il est le seul à être affectable par quelque chose d’imprévu qu’il peut reprendre et générer autrement.
D’une certaine manière, ce qui m’ennuie aussi dans cette espèce de machinisation du monde, c’est finalement qu’on est de plus en plus privé d’une créativité aussi bien individuée que collective. Et c’est en cela que, quelque part, le fait de perdre en liberté, en liberté fondamentale, mais ce n’est pas au sens de ce qui nous fonde et de ce qui nous permet de nous fonder ensemble collectivement, mais finalement créer toujours plus de distance entre nous et toujours moins d’inscription dans le monde dans lequel nous vivons, au sens strict, d’en faire les preuves.
Je vais m’arrêter là parce qu’il y a encore deux personnes qui ont à intervenir et clôturer, mais je vous remercie de toute manière parce sera mon dernier mot de ce débat.
Laurence, Karolien.

Karolien Haese : Vas-y Laurence, avec plaisir.

Laurence Devillers : Je vais intervenir sur deux niveaux.
Je pense qu’on a aussi à apprendre sur nous-mêmes avec ces machines, je vais essayer d’être positive parce qu’il y a eu tellement d’aspects un peu à risque avant moi que je vais me permettre de pousser vers les bénéfices, au moins l’ouverture d’esprit à la créativité.
Je me rappelle avoir travaillé un peu avec EDF sur des projets innovants. Par exemple dans un jury quelqu’un arrivait avec un système de réalité virtuelle pour essayer d’apprendre les gestes de secours et demandait aux gens qui étaient là – majoritairement masculins, il n’y avait pas de femmes, il y avait moi et une autre, mais très isolées – à tous ces grands esprits « avez-vous déjà fait ce genre de séance, d’apprentissage des gestes qui sauvent ? » Ils ont répondu oui, moi je ne l’avais jamais fait, mais j’avais vu des gens qui l’avaient fait, qui montraient ces gestes-là. La deuxième question de cette personne, c’était : « Vous voyez quelqu’un qui s’écroule devant vous dans la rue, allez-vous l’aider ? » Et là, personne n’a levé la main. Moi je l’ai levée parce que je me suis dit il faut faire quelque chose, voyons avec ce que je connais.
En fait, il montrait de la réalité virtuelle qui permettait en deux/trois heures d’avoir l’acquisition des gestes et de comprendre en expérimentant dans un champ qui était virtuel et réel quelque chose qui permettait de mieux marquer l’apprentissage et la compréhension des gestes qu’il fallait faire. Il y avait un faux mannequin, il y a eu une projection sur lui. Quelqu’un qui accompagnait, c’était très important aussi, donc dans le monde réel, qui était une voix qui accompagnait dans la démarche d’apprentissage avec un casque virtuel. Pour avoir expérimenté la virtualité pour d’autres choses, pour se rendre compte, dans l’écologie, ce que c’est que de faire brûler une forêt ou comment pousse une graine, enfin des choses comme ça, on a à apprendre avec ces outils étranges, à mieux comprendre certaines choses. Donc si on pouvait les utiliser comme ça, on aurait intérêt à comprendre la créativité des machines.

La deuxième chose c’est le collectif qui m’intéresse aussi. Récemment je suis allée travailler, j’ai participé à des débats, je montre ce que c’était [Laurence montre une affiche, NdT], c’était « L’Urgence des alliances » et ça c’est pour moi le vrai sujet. J’ai parlé de quoi ? On parlait de culture et de santé, de culture et d’économie, de culture et d’éducation et je suis intervenue dans un débat sur la culture et la science. Comment on fait pour faire passer ces outils de techno-science auprès de tout le monde ? Comment on fait pour faire que la littérature, le théâtre parlent plus de ces sujets ? Pour l’instant on voit l’aspect juridique, on parle d’éthique, tout ça, mais arrêtons, parlons de la vie de tous les jours et regardons comment on peut améliorer la vie de tous les jours des gens sans contraindre forcément leur liberté. Je comprends ! Cette façon de le voir c’est facile, c’est le premier truc qu’on voit. Évidemment, si vous êtes en captation partout, où vont vos données… Imaginons qu’on arrive quand même à gérer la cybersécurité, à laisser vos données sur l’objet, tout un tas de choses qu’il faut verrouiller, imaginons que l’objet soit aussi à priori ethic by design, c’est pour ça que ce n’est pas forcément a posteriori. Ce que l’on pense vraiment maintenant c’est qu’il faut coconstruire les objets avec l’usage, avec des gens qui maîtrisent bien l’usage qu’on veut faire, qui ne le maîtrisent pas tout le temps mais en tout cas qu’il y ait cette boucle de co-contruction de l’objet avec différentes personnes en pluridisciplinarité, que ce soit avec des industriels mais aussi avec des économistes, mais avec aussi, peut-être, des psychiatres dans la boucle pour les questions de l’humain qui pourraient en avoir des effets secondaires. Il est important de concevoir comme ça. C’est ça qu’il faut pousser pour moi.
Et puis il faut apprendre à penser loin, c’est-à-dire à écouter, à douter, à chercher, à risquer, et la façon dont les scientifiques abordent une problématique c’est de prendre des hypothèses, de faire un cadre, de proposer des protocoles, d’essayer d’évaluer ce qu’ils ont fait. Pouvoir remettre en question les choses, c’est, à mon avis, une façon assez saine d’appréhender le futur avec ces machines.
C’est dans cet échange transversal entre sciences humaines et sciences dures ou techno-sciences qu’on va pouvoir, j’espère, construire pour amener le politique à être plus conscient des enjeux.

Valérie KokoszKa : Merci beaucoup. Karolien pour finir.

Karolien Haese : Pas facile de conclure quand on a trois brillants intervenants juste avant !
Je pense qu’aujourd’hui le résumé de ce qu’on a entendu c’est ce besoin qu’on a d’urgence de réconcilier l’homme avec la machine, de réconcilier l’homme, l’individu avec l’intelligence artificielle, avec cette notion de la plus-value que peut apporter, à un moment donné, l’algorithme dans notre vie de tous les jours.
Cette première étape de réconciliation va, et on l’a entendu plusieurs fois, passer par une éducation, une sensibilisation, une formation citoyenne à ce qui est et restera effectivement un outil au profit de la citoyenneté, au profit des politiques, au profit de l’entreprise, au profit du bien-être, dont il faut absolument éviter la dérive.

Quelque part, dans le cadre de cette réconciliation, il faudra aussi et toujours se souvenir, et on l’a entendu plusieurs fois, que c’est l’homme qui crée la loi, c’est l’homme qui crée le cadre, c’est la politique qui, à un moment donné, est capable de dire voilà où on en est aujourd’hui dans les choix que font nos citoyens, et vous, concepteurs de cette technologie, vous, concepteurs et programmeurs humains de ces algorithmes, n’oubliez pas que ce cadre existe. Il ne faudrait pas inverser la dynamique pour, à un moment donné, arriver à ce que la loi s’adapte à la vitesse ou à l’intelligence artificielle et ses prouesses à venir, mais qu’au contraire l’intelligence artificielle s’adapte aux objectifs qui sont des objectifs qui doivent être fixés par la loi, donc par la création citoyenne, la création politique, on l’a répété plusieurs fois. Il s’agit avant tout d’un problème citoyen, d’un problème politique.
Rappelons que la loi est là pour être votée dans la citoyenneté, pour donner finalement un dynamisme, aussi pour freiner lorsque les choses vont trop vite ou pour éventuellement accélérer, on l’a vu avec le covid, lorsque c’est nécessaire et lorsqu’on a besoin d’un outil plus performant.
N’inversons pas cette dynamique et revenons à ces bases de fonctionnement de la démocratie qui sont constitutionnelles, qui veut qu’on élise un parlement démocratiquement avec des attentes citoyennes exprimées par rapport à un politique. Et aujourd’hui il y a une très grande déception citoyenne par rapport à des attentes auxquelles les politiques manifestement ne répondent pas, tantôt influencés par le lobbying, tantôt influencés par un besoin d’argent parce qu’ils ne peuvent plus faire face à une solidarité et payer finalement ce qu’il faut pour permettre à la majorité des citoyens de bénéficier de l’accès à la santé, à la culture, à l’enseignement et à la sécurité, ou tantôt influencés beaucoup plus gravement par leur propre égo et leur propre course au mandat, en espérant que c’est effectivement la minorité des politiciens qui le vivent.
On l’a vu encore aujourd’hui avec la condamnation de François Fillon qui est largement basée sur un ensemble de documents qui ont été produits post-traçage financier. Ça c’est vraiment l’exemple où l’on peut dire à un moment donné, on a un outil, on a un outil qui permet d’améliorer la justice, mais on a un outil qui ne peut certainement pas remplacer un juge. On a un outil qui peut permettre d’arriver à de l’evidence-based en médecine, mais on ne peut certainement pas, à un moment donné, dire au médecin « merci, c’est bien gentil ». On a, comment expliquer, une majorité, en tout cas une proportion suffisante pour dire que le taux d’erreur de la machine est équivalent à celui du médecin, donc on va se passer du médecin, oubliant l’individu.
Ce que j’en retiens aujourd’hui : inversion des dynamiques qui est bien présente parce que l’outil est poussé pour de multiples raisons dans la société, donc un retour, un besoin de se retourner vers le citoyen en disant « citoyens, n’oubliez pas qu’à la base, quand vous allez élire quelqu’un, quand vous allez discuter avec une association, quand vous êtes à l’école, quand vous parlez effectivement avec des spécialistes, c’est vous qui, quelque part, fixez le cadre dans lequel vous avez envie d’évoluer ». Un débat citoyen c’est aussi ça. Et ce cadre, eh bien on le met en place, et l’outil doit être au service de ce cadre, doit être au service de l’humain. Si on revient, effectivement, avec la phrase marketing de « l’humain au centre » – phrase dont j’ai absolument horreur, parce que heureusement que l’humain est au centre, il ne faudrait même pas avoir à le dire, ça doit être une évidence – si on veut mettre l’humain au centre, laissons lui fixer quelque part le cadre dans lequel les machines doivent évoluer. Le monde de l’entreprise cette année-ci à Davos en 2020, a vraiment cédé, je dirais, à ça, en parlant d’actionnariat de parties prenantes, pour la première fois, plutôt que de parler d’actionnariat, comme on le connaît à la base, des investisseurs.
On voit bien qu’il y a un changement de mentalité qui se dessine en disant « oh là, là,les parties prenantes » ! On commence par le citoyen. Ça c’est un citoyen. Et je clôturerai là-dessus.

Valérie KokoszKa : Merci. Jean-Marc.

Jean-Marc Desmet : Merci beaucoup. C’était passionnant. J’ai beaucoup apprécié toutes ces conclusions. Je voulais juste faire une petite remarque en tant que médecin clinicien. La crise, j’ai vu surtout de l’IH et de l’IC, ça veut dire l’intelligence humaine et de l’intelligence collective qui ont bien fonctionné par rapport à l’apport de l’IA. Pourtant je suis quelqu’un qui souhaite intégrer l’IA non pas comme une finalité mais comme un moyen intéressant. Pour moi c’est l’équation gagnante, en tous les cas dans le domaine dans lequel je travaille, c’est-à-dire la médecine où l’humain est évidemment au centre.
Merci.

Laurence Devillers : Merci beaucoup de cette rencontre.

Valérie KokoszKa : Merci à tous.

Irénée Regnault : Merci beaucoup.

Jean-Marc Desmet : Merci à tous.

Karolien Haese : Merci beaucoup. Très bonne soirée.

• 1. La Quadrature du Net
• 2. Règlement général sur la protection des données
• 3. Karl Polanyi