Quel droit pour les robots - Alain Bensoussan

Titre : Quel droit pour les robots
Intervenant : Alain Bensoussan
Lieu : Paris - Palais des Congrès - Conférence Devoxx France
Date : avril 2017
Durée : 17 min
Visionner la vidéo
Licence de la transcription : Verbatim
Illustration : copie d'écran de la vidéo
NB : transcription réalisée par nos soins. Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas forcément celles de l'April.

Description

Grâce à la technologie robotique, l’émergence de nouveaux « êtres » est en passe de devenir une réalité. Intelligence artificielle oblige, les robots sont aujourd’hui beaucoup plus que de simples automates : leurs capacités grandissantes les amènent à véritablement collaborer avec les hommes. Faut-il s’en inquiéter ou s’en réjouir ? Une chose est certaine : les questions d’ordre éthique et juridique sont majeures, et les défis à relever immenses. Bienvenue dans une nouvelle civilisation : la robohumanité.

Transcription

Merci de cette merveilleuse introduction. Je dois vous dire que je voudrais vous marquer toute la fierté que j’ai d’être devant vous. Et je vous propose une conversation un peu unilatérale, bien sûr, mais une conversation sur la responsabilité sociétale des codeurs dans un monde des robots.

Vous êtes l’avenir. Le monde de demain sera codé par vous, un peu moi aussi ; je vous propose cette réflexion. Est-ce que, en tant que codeur, on a des droits ? Est-ce que aujourd’hui, on était des programmeurs, on est devenu l’écriture de l’avenir, et je vous propose quelques réflexions à travers des cas d’usage.

Regardez !

La manipulation des émotions. Peut-on concevoir un système qui soit un thermostat des émotions, un système qui permet de mettre les gens en condition, comme vous l’êtes, heureux ou peut-être malheureux ? Un système d’organisation de la pensée et de l’émotion des personnes ?
Eh bien c’est possible ! Oui c’est possible, cela a été conçu par une université américaine. Il suffit d’avoir un réseau social, de filtrer les messages ; un code qui permet de mettre tous les messages positifs d’un côté, tous les messages négatifs de l’autre, et on va bombarder la personne de ces messages positifs ou négatifs ; et à partir de ce moment-là, eh bien peu à peu recevant des messages négatifs, négatifs de l’ensemble des personnes avec qui elle interagit, son émotion va être modifiée. Un véritable système : 699 000 personnes qui se transforment en cobayes des organisations d’un thermostat émotionnel.
Quelle est la société qui a programmé un tel système ? Selon The Guardian en 2014, c’est Facebook. Peut-on, et c’est la question que je vous pose, peut-on coder ce genre d’algorithme ? Est-ce que les codeurs sont neutres ? Au fond, peut-on leur demander de coder n’importe quoi et dans la mesure où simplement ils codent, alors ils sont irresponsables ?

Continuons ! Continuons ! Un autre algorithme. Après la manipulation des émotions, la manipulation des informations. Un moteur diesels, un moteur diesel qui ne fait rien d’autre que polluer la planète depuis des années ; simplement on a décidé, à un moment donné, de réduire la pollution de ces moteurs diesels et pour cela on fait des mesures. Et là un algorithme, codé avec intelligence, tapi à l’intérieur du moteur, un algorithme qui, détectant des systèmes permanents d’informations lorsque la voiture est en mouvement sur place, alors là mesure que tout est stable, on détecte qu’on est sur un banc d’essai et là l’algorithme codé, de l’intérieur, caché par des codeurs qui l’ont dissimulé, non ne riez pas ! Ne riez pas c’est toute la planète, tous ces diesels qui sont derrière. Est-ce que vraiment on est irresponsable ?

Mais continuons encore à se poser la question de quelle est cette planète des codeurs ?

Cette fois-ci c’est une poupée. Une poupée mi-Internet des objets, mi-robot en devenir ; j’y reviendrai sur les robots, parce que là la situation est encore plus grave. On n’est ici que sur des algorithmes comprimés dans un espace donné. Cette poupée permet de dialoguer avec la petite fille. Elle parle, la petite fille lui raconte toute sa vie. Et pour pouvoir lui répondre, l’ensemble des données de la chambre où se trouve cette petite fille sont projetées dans des clouds, on ne sait pas très bien où, je crois à priori aux États-Unis, mais je n’ai pas vraiment étudié en détail, peu m’importe ! Peu m’importe ! Ce qui est important c’est que pour pouvoir répondre à la petite fille, rentrer dans son intimité, lui dire effectivement des choses, on va violer l’intimité de l’ensemble de la pièce, parce que toutes les données partent effectivement aux États-Unis, sont filtrées pour pouvoir avoir la conversation ; le code va pouvoir distinguer effectivement la petite fille du bruit et pouvoir lui répondre.
Oui, mais ! Oui, mais dans la chambre il n’y a pas que le son de la petite fille, dans la chambre il n’y a pas que la réponse de la poupée ; il y a peut-être le père en train de lui parler, la mère, ou tous les deux, père et mère, en train de se disputer, je ne sais, mais là l’ensemble du code a pris tout l’enregistrement, a filtré, a gardé les éléments et a répondu.
Est-ce que la petite fille le savait ? Eh bien non, bien sûr !

Et c’est en Allemagne, en Allemagne que cette poupée Barbie, elle s’appelle Barbie Hello, elle est blonde superbe, la poupée !
Est-ce que les gens le savaient ? Et la presse allemande a traité « Barbie Stasi ».

Continuons encore le parcours des robots. Les robots sont là. Ils sortent des laboratoires, ils entrent dans les hôpitaux, les entreprises et même les domiciles.
Les robots sont soit des robots-logiciels, soit des robots-physiques. En fait un robot-physique ce n’est qu'un robot logiciel qui dispose d’une coque avec des actionneurs utilisant les technologies de mécatronique.

Fermez les yeux ! Oui fermez les yeux ! Vous êtes dans une cour d’assises. À la barre l’officier qui était présent au moment du drame présente le schéma suivant : une route, une route de deux voies séparées par une ligne, incrustée dans la montagne ; il n’y a pas de place ni à droite ni à gauche, descend, dit-il, normalement une voiture. Il montre sur le schéma une voiture A à une vitesse normale. À l’intérieur de l’habitacle une seule personne. Au kilomètre 7 une voiture derrière, de sport, à une vitesse déraisonnable, tente de doubler alors que remonte, remonte tranquillement, à la vitesse maximale autorisée, une voiture C. La voiture B qui descend, la voiture C qui monte sont face à face ; l’accident est irréversible et pourtant, et pourtant la voiture qui remonte, cette voiture sans conducteur décide de laisser passer la voiture B et de fracasser la voiture A, ne laissant aucune chance au conducteur.
Il continue et précise que l’enquête a montré que cette voiture autonome a été codée de telle manière à pouvoir anticiper ; elle dispose de capteurs et la voiture autonome a vu qu’il y avait quatre personnes dans la voiture B, une personne dans la voiture A, alors, confondant jeu d’échecs, les codeurs et l’algorithme ont décidé quatre contre un : il fallait tuer le conducteur de la voiture A !
Dans ce silence de plomb, comme dans la cour d’assises, le président reprend la parole et pose la question, la question que je vous pose : qui est responsable ? La mère qui a décidé d’envoyer la voiture autonome chercher les enfants ? Le père, propriétaire de cette voiture autonome, mais qui n’était pas présent au moment des faits ? Le constructeur de cette voiture ? Ou les codeurs de l’algorithme qui a décidé quatre contre un ? Ils sont tous sur le banc des accusés.

L’avocat de la partie civile et l’avocat général soutiennent la même thèse. Ils prétendent que celui qui est responsable, le coupable, c’est celui qui a codé l’algorithme, celui qui a confondu code de loi et code informatique ; celui qui a décidé quatre contre un. Le criminel c’est le codeur, disent-ils.

L’avocat de la défense prend la parole. Il sait que ce qu’il va dire est difficile. Alors il se tourne vers les bancs de la partie civile et dit : « Madame, nous partageons votre chagrin ; vous avez perdu votre mari, mais ils sont innocents. Le code de loi n’est pas le code informatique. Il n’y a pas de responsabilité de ce type. En matière pénale il faut une infraction particulière et dans la mesure où ne trouvera pas d’élément permettant de déclarer qu’ils sont responsables, c’est un accident. » Acquittement !

Mais je vous pose la question : est-ce que c’est vraiment une solution ? Qui doit coder le quatre contre un ? Est-ce qu’on peut tout coder ?

Des robots disposent aujourd’hui d’une intelligence artificielle primitive. La vraie révolution ça a été de mettre des robots avec des capteurs et une intelligence artificielle : puissance de calcul et un code optimisé. À partir de là ces machines intelligentes sont capables de prendre des décisions. La voiture autonome qui se trouve sur les routes n’a pas du tout d’éléments de guide autres que les éléments généraux. Les robots, à ce niveau-là, ne sont plus des objets plus, ils ne sont pas des humains moins, ils ne sont pas des animaux mécaniques. Le fait de pouvoir disposer de créer une intelligence artificielle à l’intérieur d’un robot, qu’il soit un robot-logiciel ou un robot-physique, donne une puissance inouïe.

Un code malveillant, un code qui n’accepterait pas des contraintes, un code qui définirait seul les règles du jeu n’est pas possible. En tout cas il est aujourd’hui un système qu’on peut peut-être changer.

Et puis lorsqu’on regarde l’intelligence artificielle, lorsqu’on examine ces robots, on ne peut pas s’empêcher, même avec des systèmes encadrés, de se poser aussi la question de l’erreur artificielle. Cette intelligence artificielle dans un robot qui est capable de modifier son environnement, comment traiter le codage de la bêtise artificielle ? Est-ce que c’est un simple bug qui, au fond, n’engage personne puisqu’on ne sait pas faire de logiciel sans code avec des bugs, toujours avec des bugs !

Regardez ! Elle est seule. Il fait froid. Elle entre dans le service des urgences. L’infirmière l’écoute. Elle lui présente ses difficultés ; elle nécessite un diagnostic, un diagnostic d’un cancer immédiatement. Alors, après l’avoir écoutée, l’infirmière du dispatching la regardant dans les yeux lui dit : « Madame, voulez-vous un rendez-vous avec un robot ou un médecin ? » Et elle répond bien sûr : « Un humain, je veux un médecin humain ; pas un robot ! » Et là dans ses yeux, l’infirmière voit qu’elle a fait un mauvais choix. « Couloir 2, porte 7 » dit-elle, alors que au couloir 1, effectivement Watson, celui qu’on vous a présenté, Watson était là ; il pouvait la recevoir en colloque singulier, et Watson concentré d’algorithmes, intelligence artificielle parmi, effectivement, les meilleures aujourd’hui, champion du monde au jeu Jeopardy!, [rires], réutilisé dans le monde médical, Watson se trompe pour certains cancers une fois sur dix, alors que ses collègues se trompent une fois sur deux. On voit bien que là l’erreur artificielle et l’erreur humaine ne sont pas la même ; on ne permet pas au robot d’être un phénomène d’erreurs.

Les robots ne sont pas objets de droit, ils sont sujets de droit parce qu’ils possèdent une intelligence artificielle qui leur donne une autonomie et ceux qui codent cette autonomie doivent nécessairement enfermer dans un environnement, un environnement qui va définir des règles sur la responsabilité. C’est sûr que c’est la plateforme d’intelligence artificielle qui est responsable en premier niveau. C’est sûr que ce sont les codeurs de cette plateforme qui sont en état de responsabilité. Il faut une traçabilité ; il faut un respect de la dignité des personnes ; et pour cela, j’ai conscience de la difficulté, mais vous êtes l’écriture de l’avenir de demain.

Alors pourquoi pas ? Pourquoi ne pas penser à une charte universelle du code ? Pourquoi ne pas envisager de redéfinir les règles du jeu et ne pas décider à d’autres de le faire. Et dans cette charte on pourrait souligner, je ne sais pas si vous êtes d’accord avec moi, vous le direz tout à l’heure, mais on pourrait définir un droit de refus ; un droit qui nous permettrait de dire non à tout système de codage qui serait contraire aux droits de l’homme. Un système qui nous permettrait, après le droit de refus, un droit d’alerte, de dénonciation de tout ce qui pourrait être liberticide. Peut-on coder sans responsabilité sociétale un système qui trompe tous les moteurs diesels ? Ce n’est pas possible !

Alors si vous êtes d’accord avec moi, si on veut changer le monde, si aujourd’hui on écrit grâce au code ce monde nouveau, l’intelligence artificielle pourrait être différente de l’intelligence humaine. On pourrait créer un monde où le code serait éthique by design, véritable compilateur d’un code de l’honneur des codeurs.

Merci.

[Applaudissements]