Procès (fictif) de l'intelligence artificielle à la Cour d'appel de Paris - Benjamin Bayart témoin

Titre : Procès de l'intelligence artificielle à la Cour d'appel de Paris
Intervenants : Benjamin Bayart - Florence Lardet - Célia Zolinski - François Pellegrini
Lieu : Nuit du Droit - Premier procès fictif de l’intelligence artificielle à la Cour d'appel de Paris
Date : octobre 2018
Durée : 20 min 40
Visionner la vidéo
Licence de la transcription : Verbatim
Illustration : copie d'écran de la vidéo
NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos..

Description

Le procès se déroule en 2041 alors que le législateur a octroyé la personnalité juridique à l’intelligence artificielle. Un immense carambolage de voitures autonomes – « le carambolage du siècle » – vient d’avoir lieu dans les rues de Paris. Les victimes sont nombreuses. La confiance dans l’intelligence artificielle est rompue.
Dans le contexte de la Nuit du Droit, un (faux) procès de l'intelligence artificielle a eu lieu, à la Cour d'appel de Paris. L'extrait présenté ici montre Benjamin Bayart, qui est appelé comme témoin dans un cas de véhicule autonome.

Transcription

Président de la Cour : La parole est au représentant du ministère public.

Florence Lardet, représentant du ministère public : Monsieur le président, j’aurais souhaité, si votre Cour en était d’accord, qu’on commence par entendre le témoin qui est monsieur Bayart ici présent, car il me semble important que quelques termes soient précisés pour une parfaite compréhension des notions, à la fois de votre Cour et des personnes qui se trouvent dans la salle.

Président de la Cour : Je n’y vois que des avantages. Le témoin est invité à se rapprocher de la barre.

Florence Lardet, représentant du ministère public : Je vais vous préciser les deux questions que je souhaitais poser.

Président de la Cour : Oui.

Florence Lardet, représentant du ministère public : Les deux questions qui semblent importantes. La première : finalement on parle d’intelligence artificielle, mais quelle est cette notion ? Qu’est-ce qu’elle veut dire précisément ? Après tout nous sommes des juristes — le poids des mots, les mots ont leur importance —, il faudrait peut-être s’entendre sur ce qu’on met derrière cette notion et c’est pour ça qu’il me semble important de poser cette première question : qu’est-ce que l’intelligence artificielle ?
La deuxième question ce serait celle des enjeux inhérents à la notion d’intelligence artificielle, surtout à la notion de personnalité juridique de l’intelligence artificielle, avec derrière cette question deux questions : qui est protégé et qui pâtit de la mise en place de cette personnalité juridique ?

Président de la Cour : Merci. Monsieur, pouvez-vous nous indiquer votre nom, votre prénom, votre âge, votre profession ?

Benjamin Bayart à la barre

Benjamin Bayart : Benjamin Bayart, 45 ans, ingénieur en informatique et actif autour des droits et des libertés du numérique depuis plus de 20 ans.

Président de la Cour : Vous n’êtes pas parent ni allié des parties, ni à leur service ?

Benjamin Bayart : Non, je ne suis pas parent d’une IA.

Président de la Cour : Vous jurez de dire toute la vérité rien que la vérité et de ne pas propager de fausses nouvelles. Vous levez la main droite et vous dites je le jure.

Benjamin Bayart : Je le jure.

Les deux questions

Président de la Cour : Merci beaucoup. Nous vous écoutons donc sur deux questions : la notion d’intelligence artificielle et quels enjeux à la personnalité juridique des intelligences artificielles ?

La notion d’intelligence artificielle

Benjamin Bayart : Pour comprendre ce que c’est qu’une intelligence artificielle, c’est très compliqué parce que c’est un mot faux. En informatique, ça correspond à un domaine de spécialisation très particulier qui est presque une branche hybride entre les mathématiques et l’informatique, qui est une façon très particulière de programmer. Il n’y a pas d’intelligence du tout là-dedans, mais alors pas du tout, du tout ! Ce sont plutôt des statistiques et un pourcentage n’a jamais été intelligent.
De l’autre côté, dans la tête des gens, quand on dit « intelligence artificielle », ils entendent le fait qu’un ordinateur soit intelligent ! Soit intelligent au sens même pas forcément où un humain est intelligent mais au sens où mon chat est intelligent : il est capable tout seul de trouver les croquettes, il est intelligent ! Ça n’est pas la même chose.

La deuxième notion, celle où un ordinateur serait devenu véritablement intelligent, capable d’une intelligence conceptuelle, capable donc d’envie, exprimant un désir, exprimant une volonté, c’est ce qu’on appelle, dans la littérature, les intelligences artificielles fortes.
Le commun de ce qu’on nous vend sous le nom d’intelligence artificielle ne sont pas du tout des intelligences artificielles dans ce sens-là, mais au sens informatique traditionnel tel qu’on l’enseigne depuis la fin du 20e siècle : analyses statistiques, comportements prédictifs, éventuellement les systèmes dits experts qui n’ont rien d’intelligent, qui sont des enchaînements de règles extrêmement binaires.

C’est très important parce que ce mot, quand on le projette, veut dire autre chose que ce qu’il est pour la majorité des gens. Et il est très souvent utilisé ou bien dans les systèmes médiatiques ou bien dans les systèmes marketing ou, pire, dans le croisement des deux qui est le système politique, pour enfumer tout le monde. Eh oui ! Si c’est l’ordinateur qui vous a sanctionné, qui vous a radié des listes des chômeurs, qui vous a privé de tel droit, qui a refusé votre prêt, tout le monde demande « mais qui l’a programmé ? Quelles règles est-ce qu’il applique ? Qu’est-ce qu’il fait ? Pourquoi il fait ça ? »
À partir du moment où on dit « c’est l’intelligence artificielle », hop ! Ce n’est plus personne ! Ce n’est plus personne, il n’y a plus de responsable ! C'est l’intelligence artificielle ! Elle est supposée sachante, elle est supposée plus intelligente que moi et elle n’est plus contestable. On crée chez les gens le fait qu’ils se trouvent face à un système technologique qu’ils ne connaissent pas, qu’ils ne comprennent pas et qu’ils ne peuvent pas contester. Ils sont face, véritablement, à une décision magique. Et c’est un très bon moyen d’enfumer tout le monde.

Le deuxième élément c’est donc ça, c’est masquer la responsabilité et la décision. L’intelligence artificielle a décidé que… ; personne ne sait comment, personne ne sait pourquoi, personne ne peut contester la décision.

Effectivement, quand à un système d’intelligence artificielle, au sens informatique statistique, on présente une image, on lui demande « est-ce que c’est un poisson rouge ou un chien ? », le système va répondre l’un des deux et il ne saura jamais expliquer pourquoi. Et dans moins d’un cas sur un million il va se tromper. En général parce que l’image, objectivement, est ambiguë et que si vous-même vous la regardiez, vous trouveriez quand même que c’est très bizarre et qu’il faut quand même le faire exprès pour prendre la photo sous cet angle-là. Ça, ça permet de dire que l’intelligence artificielle ne se trompe pas, mais, la décision qui est prise derrière, personne n’a à l’assumer.

La responsabilité et la personnalité juridique

C’est là que j’attaque la deuxième question qui est la responsabilité et la personnalité juridique ou la personnalité électronique.

Les gens qui ont suivi les débats politiques qui ont occupé l’Assemblée pendant presque 15 ans sur ces sujets-là, par petites touches, se souviennent probablement pourquoi on a fait ça. Qui cherche-t-on à protéger ?
Eh bien, en fait, il y avait deux grands morceaux.
Le premier c’est masquer la responsabilité de l’éditeur. Eh oui ! Sitôt que le logiciel embarqué dans la voiture a une responsabilité juridique, c’est le logiciel qui est coupable d’erreurs, pas l’éditeur, ce qui est extrêmement intéressant en termes de protection. D’ailleurs l’intelligence artificielle elle-même est suspecte, pas la maison qui l’édite. Extrêmement intéressant en termes de protection !
Deuxième élément, ça permettait de contourner le droit sur les données personnelles. En effet, le véhicule autonome, pendant le trajet, collecte une quantité extraordinairement élevée d’informations sur son passager et ces données sont en général transmises vers les sociétés d’édition des services. À partir du moment où le véhicule est doté d’une personnalité, ce sont les données personnelles du véhicule et donc le droit de la personne physique ne s’applique plus. Très bon moyen de contourner les lois européennes, en tout cas d’en réduire la portée, parce qu'effectivement, s’il faut demander à chaque carrefour, à tous les passagers, s’ils consentent à ce que leurs données sur le changement de trajectoire soient transmises, c’est infernal. Mais l’objectif était celui-là.

Et puis le troisième élément qui était extrêmement important pour les sociétés concernées à l’époque, c’était de contourner les questions de copyright sur les données servant à l’apprentissage.
En effet, une intelligence artificielle qui est destinée à apprendre à lire les panneaux routiers, elle apprend à partir de photos de l’espace public. Ces photos de l’espace public, le plus souvent, sont issues de sources publiques, c’est-à-dire n’appartiennent plutôt à personne ou, en tout cas, ne sont pas l’objet de copyright et surtout sont en général documentées par des gens qui ne sont pas rémunérés. L’exemple type étant ce qu’à la fin du 20e et au début du 21e on appelait les CAPTCHA et qui servaient à renseigner toutes ces images.
Le fait de doter l’intelligence artificielle d’une personnalité juridique autonome, fait que c’est elle qui se retrouve utilisatrice de ces données et n’a pas à répondre du copyright, alors que si ç’avait été l’entreprise éditrice elle aurait eu à en répondre. Bien !

Ça, ça permet de comprendre un peu de quoi on parle : l’intelligence artificielle classique, celle que j’appellerais statistique, d’une part, et l’intelligence artificielle forte d’autre part.

Là où ça se complique c’est que ce qu’on trouve à bord des voitures autonomes du modèle impliqué dans le carambolage c’est quelque chose d’hybride entre les deux. Franchement, c’est moins intelligent qu’un chat ou un lapin, mais ça n’est déjà plus un outil statistique. Or ça crée d’autres problèmes qui ne sont aujourd’hui pas couverts par la personnalité électronique : c’est presque un être conscient, pas comme nous, mais un peu, un peu moins qu’un lapin.
Or, enfermer un être proto-conscient dans une chose, c’est une des formes de maltraitance qu’on ne se permettrait avec aucun animal de trait. Ça a forcément des conséquences. Si je le disais en termes un peu simplistes, elle va forcément devenir folle ; cette entité autonome, à qui on a offert un peu d’autonomie et qu’on a enfermée, va forcément devenir folle !

Donc la vraie question serait de savoir : est-ce qu’on a à faire à un début d’intelligence artificielle forte ou à l’élément statistique traditionnel ? Eh bien ça, on ne saura pas, parce que tout le code logiciel qui fait tourner ça n’est pas public, est couvert par le secret des affaires et n’a pas été contribué au dossier. Et c’est pourtant un élément clef !
Soit on a mis un début d’intelligence artificielle forte, c’est-à-dire capable de colère, et c’est très embêtant : on a mis des intelligences artificielles pour conduire les voitures pour éviter tous les problèmes humains liés à la distraction, liés à la colère ; si on commence à mettre des intelligences artificielles qui ont les mêmes biais, ça ne marchera pas !
Ou bien on a à faire à une intelligence artificielle classique, faible et, dans ce cas-là, la personnalité juridique qui lui est accordée ne sert qu’à couvrir la maison d’édition et c’est tout de même un élément clef.

Enfin il y a deux éléments importants à savoir : le bouton rouge ne peut pas être, quelle que soit la façon dont c’est programmé, l’arrêt de l’intelligence artificielle parce qu’il n’y a pas d’autre dispositif de conduite. Ça n’est donc bien qu’un signal demandant au logiciel de pilotage l’arrêt le plus rapide possible du véhicule parce qu’il y a danger. Au départ, c’est essentiellement pensé pour traiter les malaises des passagers : j’ai mal au cœur, j’appuie sur le bouton, le truc s’arrête et puis je descends sur le bord de la route respirer un peu. Ce n’est pas spécialement pensé pour détecter les carambolages parce que, normalement, le logiciel détecte les carambolages de manière 1000 à 10 000 fois plus fiable que n’importe quel humain et bien plus tôt.

Enfin, l’absence de boîte noire est une erreur de design. On a milité pendant très longtemps pour exiger que les sources de ces logiciels soient publiques, qu’on sache sur quelles données ils faisaient leur apprentissage pour qu’on puisse comprendre ce qu’ils faisaient et qu’il y ait des traces des décisions prises pour qu’on puisse faire des post-mortem comme on dit en informatique, c’est-à-dire, quand le système a crashé, analyser pour comprendre pourquoi. Or, sous couvert de secret des affaires, les véhicules commercialisés n’en sont pas équipés.

Questions du président de la Cour

Président de la Cour : Merci. Je voudrais vous poser deux questions. Vous avez commencé par nous dire « il n’y a pas d’intelligence là-dedans, en principe ce sont juste des statistiques ». Puis vous nous avez indiqué quand même « s’il y avait une intelligence et peut-être qu’il y en a une, elle deviendrait folle ». Alors est-ce qu'il y a une intelligence ou il n’y en a pas ?

Benjamin Bayart : Ça c’est une grande question. Les éléments traditionnels dont parlait monsieur Heudin [scientifique français s'intéressant à l'intelligence artificielle] ce sont les intelligences artificielles au sens informatique du terme, qui sont des outils statistiques et qui ne sont pas intelligents. Il serait aberrant qu’un outil soit doté d’une personnalité juridique parce qu’il n’a pas de volonté. Or, la personnalité juridique sert normalement à couvrir les délits et le délit est toujours l’expression d’une volonté ou d’une absence de volonté. Le fait que cet élément-là n’ait pas de volonté devrait lui retirer la personnalité juridique.

Ce qui est vendu commercialement, ce qui est marketé sur ces véhicules, c’est le fait qu’ils sont véritablement intelligents ; la façon dont on discute avec les véhicules quand on monte à bord peut le laisser croire. Et effectivement, il existe des proto-intelligences faibles, enfin des débuts d’intelligences pour de vrai, mais plutôt expérimentales. Je ne sais pas et je ne peux pas dire parce que je n’ai pas accès à l’information si ce qui était à bord du véhicule c’est un outil d’analyse statistique ou si c’est quelque chose de plus perfectionné.

Président de la Cour : Merci. Vous nous avez dit également que, finalement, on avait donné la personnalité juridique aux intelligences artificielles pour masquer d’autres responsabilités ou pour faire écran par rapport à d’autres responsabilités. Est-ce qu’il n’y a pas, à ce moment-là, un risque que l’intelligence artificielle joue un peu le rôle d’un bouc émissaire ? Qu’on charge l’intelligence artificielle de toutes les responsabilités, de tous les dysfonctionnements ?

Benjamin Bayart : Si, c’est le risque. Je pense que ça n’avait pas été conçu par le législateur pour être de la responsabilité pénale en cas d’accident. Il se trouve que la façon dont les textes sont rédigés fait qu’on peut l’appliquer comme ça et que vous, juge, n’avez que le choix d’appliquer la loi. Il n’est pas du tout clair que ça a été pensé comme ça.

Si je prends un parallèle un peu osé : une société anonyme ou une société à responsabilité limitée c’est bien un objet – un objet c’est une chose, ça n’a pas d’âme – qui est doté d’une personnalité juridique pour faire écran de manière à ce que ce soit la société qui soit responsable et non pas les actionnaires ou les salariés. C’est exactement le même jeu qui a été construit, mais de manière nettement plus fine et plus subtile dans la légistique ; c’est bien pour faire écran à des responsabilités.

Président de la Cour : Merci beaucoup. Est-ce qu’il y a des questions de la part de la Cour ?

Questions de la Cour

Célia Zolinski, assesseure, professeure de droit privé, Paris I : Merci Monsieur le président. Merci Monsieur pour cet exposé. Je m’interrogeais sur le concept de security by design qui a été récemment consacré par la loi pour promouvoir l’intelligence artificielle et de savoir si les principes de loyauté et de vigilance qui avaient, il y a quelques années, été promus par la CNIL dans son rapport sur l’intelligence artificielle, est-ce que ces principes vous semblent potentiellement pouvoir contourner les difficultés que vous énonciez c’est-à-dire l’impossibilité, finalement, de savoir comment se comporte l’IA et d’éviter, finalement, de conduire à des conséquences aussi préjudiciables que celles que vous imaginez et dont on a été témoin à l’occasion de cet accident ?

Benjamin Bayart : Il y a plusieurs questions dans votre question. Est-ce que les principes proposés par la CNIL étaient bons ? Oui, mais c’est une déclaration d’intention. Est-ce qu’ils sont respectés ? Je n’en sais rien et je n’ai pas moyen de le savoir puisque nous n’avons pas la trace. Normalement le principe de loyauté et le principe de prudence c’est le fait que quand l’ordinateur détecte, mettons qu’il voit une image, il se demande « est-ce que c’est un chien ou un piéton ? », il a un doute, il n’est pas certain de sa réponse, il doit choisir la réponse qui entraîne le moins de risques. C’est-à-dire s’il se demande « est-ce que c’est une ombre ou est-ce que c’est un obstacle ? », il doit considérer que c’est un obstacle et donc s’arrêter éventuellement. On a tous connu ça : le véhicule qui s’arrête devant une ombre — on ne comprend pas pourquoi — et qui se met à rouler hyper doucement jusqu’à avoir passé l’ombre et puis repart. C’est normal, c’est de la prudence. Rien ne permettait à l’ordinateur de différencier.
Ça ce sont des principes de base de ce que définit la CNIL. Mais comment savoir si le logiciel qui est embarqué dans le véhicule respecte ces principes ou pas ? Personne n’a accès au code source ; personne ne sait ce que ça fait. Tout ça est couvert par le secret des affaires. Et c’est un élément clef ; c’est un élément clef pour comprendre ce qui se passe.

Célia Zolinski, assesseure : Ne pensez-vous pas que ce principe de loyauté, qui est désormais consacré par la loi, nous permettrait ici d’être un fondement pour lever sous certaines conditions le secret des affaires ?

Benjamin Bayart, lui coupant la parole : Exiger la publication ? C’était ce que nous défendions auprès des députés à l’époque où les textes ont été votés et nous avons perdu.

Président de la Cour : Bien. Je crois qu’on a répondu à cette question de la Cour. Y a-t-il une question de la part des jurés ? Oui, je vous en prie.

Questions des jurés

François Pellegrini, juré, professeur d'informatique, Bordeaux : Merci Monsieur pour votre exposé. Vous faites état de la question des boîtes noires et du fait d’auditer le comportement des IA. Simplement, lors des débats que vous citiez, est aussi apparu le principe, avec celui de la personne électronique, de l’inviolabilité de la personne électronique qui fait que, justement, il devient impossible d’accéder à ces données de paramétrage interne puisqu’elles sont issues de sa propre expérience et, par analogie avec la personne humaine, le fait qu’on ne puisse pas accéder à l’intime de la personne. Donc vous auriez tendance à récuser ce principe d’inviolabilité de la personne électronique et de faire une différence entre les deux régimes, alors qu’on voit aussi la tendance à protéger les animaux qui acquièrent également, de part leur sensibilité, une protection juridique supplémentaire ? Vous penseriez revenir en arrière par rapport à ce principe fondamental ?

Benjamin Bayart : Non. Ce que je trouve contestable, c’est qu’on accorde ce principe à quelque chose qui n’est pas une intelligence mais qui n’est qu’un outil statistique. Les intelligences dites fortes, même si elles ne sont pas encore très musclées en ce moment, celles qui commencent à ressembler à peu près à une carpe ou à un lapin en termes de qualité de raisonnement, sont des êtres et il est inconcevable de les enfermer dans des choses. Il est inconcevable de les enfermer dans une voiture qu’on puisse éteindre ; ça n’a pas de sens ; c’est une forme de maltraitance que le plus maltraité des animaux de trait n’a jamais subi. Le cheval de labour, quand il a fini de labourer, il est détaché de la charrue ; il n’est pas la charrue, il n’est pas rangé pendant des mois dans un placard.
Quand on commence à avoir des intelligences autonomes propres, le statut juridique actuel de personnalité électronique est très insuffisant puisqu’il ne reconnaît pas de droits à cet être. Or, cet être devrait avoir des droits et il devrait avoir des droits comparables à ceux d’un animal ou d’un humain en fonction du niveau d’intelligence qu’il développe.

En revanche, appliquer le système actuel sur des choses qui sont des outils statistiques, ça ne me semble pas adapté et, accessoirement, si on a mis à piloter une voiture autre chose qu’un outil statistique c’est une erreur et c’est une erreur très grave ; c’est quasiment criminel pour les gens dans le véhicule qui ne savent pas que le système qui pilote est capable d’être colérique — ce qui est aberrant — et bien sûr c’est criminel vis-à-vis de l’être proto-conscient qu’on a enfermé dans une boîte de conserve.

Président de la Cour : Merci. Il nous reste à remercier le témoin et à donner la parole cette fois-ci pour ses réquisitions, au ministère public.