Bonsoir à toutes et à tous et bienvenue à la 3ème conférence organisée par le Centre d'Etude du Futur. Nous sommes un groupe de recherche interdisciplinaire et pluraliste, qui étudie le devenir de notre Humanité dans le contexte contemporain de la révolution numérique et de la convergence NBIC (Nanotechnologie, Biologie, Informatique et Sciences Cognitive).

Séquençage du génome, organes artificiels, puces électroniques sous-cutanées, implants cérébraux, Intelligence Artificielle autonome et décisionnelle,... Toutes ces nouveautés annoncent un rapport nouveau à la Nature et une vision inédite de l'Homme revisité à l'aune de l'Intelligence Artificielle.

Ainsi entend-t-on de plus en plus parler, aujourd'hui, dans le domaine militaire, de l'introduction de systèmes d'armes autonomes et de projets visant à doter les combattants de systèmes permettant d’accroître démesurément leurs performances physiques, cognitives et perceptives. Les questions éthiques et juridiques concernant ces nouvelles technologies font actuellement l'objet de discussions au niveau international, à l'ONU par exemple. Faut-il les interdire? Doit-on freiner les recherches qui peuvent y conduire ? On comprend l'urgence d'une réflexion éthique en ce domaine.

Pour nous y aider, nous avons l'honneur d'accueillir ce soir monsieur Dominique Lambert, docteur en Philosophie des Sciences et docteur en Physique théorique (cosmologie), professeur à l'Université de Namur. Ses travaux lui ont valu une reconnaissance internationale et de nombreux prix :

Concours des bourses de voyage du Ministère de l'Education Nationale (octobre 1984).
Prix du Concours annuel 1999(septième question) de la Classe des Lettres de l'Académie royale de Belgique.
Prix 1999 de la Fondation Georges Lemaître (shared with Dr Jean-Pierre Luminet of the Observatoire de Paris-Meudon).
Prix Dropp 1998 (awared 08/12/1999) of the Institut Supérieur de Philosophie of the UCL. (5)ESSSAT Prize (European Society for the Study of Sciences and Theology) 2000.
Prix 2000 du "Namurois de l'année", category: scientist, awared by the review Confluent.

Nous vous remercions donc, monsieur Lambert, d'avoir accepté de venir nous partager votre réflexion axée, nous avez-vous dit, "sur le respect de la dignité de la personne et la référence à une éthique de la fraternité". C'est avec une grande attention que nous vous écoutons.

Introduction par le Professeur Dominique Lambert (03 :35)

Merci de m’accueillir pour partager quelques réflexions sur la question de la robotique et plus largement de l’homme augmenté dans le domaine de la sécurité et de la défense.

Je voudrais simplement partager avec vous certaines réflexions et donner des pistes de réflexions pour voir comment traiter ces questions. Je ne voudrais pas seulement me limiter à une sorte de panorama des technologies existantes et vous assommer de caractéristiques techniques. Mais ce que je ferai aujourd’hui, c’est de donner des pistes de réflexions et des repères par rapport auxquels on pourrait évaluer l’introduction des technologies dont je vais parler.

L’introduction des technologies dont je vais mentionner quelques exemples dans le domaine de la défense et de la sécurité sont liées en partie à une évolution du contexte géopolitique, géostratégique. En fait, quelque chose qui est lié … Une technologie n’est jamais séparée d’un contexte particulier qui favorise l’éclosion de cette technologie. Ce n’est pas pour rien que ces technologies sont introduites aujourd’hui … Je voudrais dire que l’introduction des technologies d’intelligence artificielle, de robotique et même d’augmentation du combattant sont liés à une évolution assez nette du contexte des guerres.

Evolution du contexte de guerre

Autrefois, la guerre était régie par le droit. Il fallait, pour entrer en guerre légalement une « déclaration de guerre » officielle. Les parties en présence dans des conflits étaient bien délimitées. On savait quels étaient les ennemis et quels étaient les amis. On savait quels étaient les pays engagés dans les conflits. Mais, depuis la seconde guerre mondiale, et depuis ces trente dernières années, le type de conflit auquel nous sommes confrontés dans le monde a un peu changé de nature. Autrefois aussi, les conflits étaient limités à des terrains bien particuliers même si on était dans la première ou seconde guerre mondiale, il y avait des zones de combat et des zones qui n’étaient pas en conflit, qui n’étaient pas en état de combat… Ces zones étaient bien délimitées.

Aujourd’hui, on assiste à une modification profonde de ce qu’est l’état de guerre. C’est lié au fait qu’on assiste à des conflits qui n’ont plus la même netteté. On peut avoir des interventions militaires dans des pays auxquels on n’a pas déclaré la guerre. Le combat, par exemple, contre le terrorisme n’est plus nation contre nation dans des cadres légaux. On voit certains pays effectuer des exécutions hors de cadres légaux … dans des pays auxquels on n’a pas déclaré la guerre. On voit des conflits hautement dissymétriques. On voit une guerre qui s’est globalisée … avec des guerres à distance qui finalement peuvent faire croire à certaines nations quelles sont en paix alors qu’elles investissent dans des conflits à l’extérieur. Récemment, un ingénieur de l’armement français faisait remarquer que nous avons, aujourd’hui, 30.000 soldats français engagés dans des théâtres d’opérations extérieures. Si on demande aux étudiants s’ils croient que la France est en guerre, ils répondront que nous sommes en paix. Mais un engagement assez massif de soldats sur des théâtres d’opérations extérieures correspond à un certain état de guerre mais qui s’est, dans le fond, banalisé parce que la guerre se fait à distance dans des contextes qui ne sont ceux d’un engagement global de toute une population contre un autre pays. Donc, le fait que l’on a des guerres non déclarées, des guerres banalisées en Occident, oubliées… une sorte de cécité de l’engagement dans certains groupes de la population, des guerres et des conflits dissymétriques qui permettent justement à certaines nations d’intervenir avec des moyens technologiques extrêmement forts, avec peu d’hommes et dans des situations qui ne correspondent plus aux cas classiques. Donc, on pourrait dire qu’il y a eu un changement de nature de la guerre qui se double d’une volonté, au moins dans le monde occidental de faire le moins de victimes possibles au moins dans un camp. La civilisation occidentale tolère de moins en moins la perte de combattants. C’est très bien, mais ceux qui meurent sont peut-être de l’autre côté. Une guerre sans victimes, c’est illusoire mais, dans le fond, cette exigence de ne plus perdre des vies humaines d’un côté a vu alors se développer des technologies qui permettaient de mettre un certain groupe de personnes à l’abri. Donc, des conflits qui ne sont plus vraiment déclarés, des opérations dans des pays avec lesquels nous ne sommes pas en guerre a suscité l’introduction de technologies de plus en plus furtives qui vont réaliser des missions de sécurité ou de défense mais dans des contextes tellement cachés, qu’on ne s’en aperçoit presque pas. Quand une armée déclenche une opération ou fait des dégâts collatéraux, on s’en rend compte mais si ce sont des services secrets avec des moyens technologiques très sophistiqués, cela passe presque inaperçu alors que les conséquences sont importantes.

La guerre a changé de nature, les exigences des pays occidentaux sont devenues telles que ces facteurs-là ont favorisés l’introduction de technologies qui visent à mettre le combattant à l’abri, à permettre de faire une guerre à distance avec peu de victimes dans un camp. D’où, progressivement, l’idée de remplacer l’homme par des robots.

Faire la guerre grâce à des robots autonomes armés (12 :06)

On pourrait faire la guerre grâce à des robots qui sont des masses d’acier, de fils, etc.… S’il sont détruits, cela coûte un peu d’argent, pas beaucoup peut-être, mais cela ne coûte pas une vie et cela conduit au développement de techniques permettant d’augmenter les capacités des combattants de telle manière à les rendre quasi invincibles ou invulnérables ou le moins vulnérables possible. Nous sommes dans un contexte qui a favorisé, au moins dans un certain nombre de pays technologiquement avancés, le développement de technologies militaires sophistiquées qui permettent la guerre à distance ou la guerre sans humains ou la guerre en protégeant un maximum les humains.

Aujourd’hui, je voudrais vous parler de technologies qui font l’objet de discussions de plus en plus serrées au niveau international… entre autres des robots autonomes armés. Je voudrais rappeler les technologies que l’on a. En fait, on utilise de plus en plus des drones, des avions sans pilote, des drones sous-marins, des drones souterrains qui creusent, restent inopérants et se déclenchent lorsqu’ils détectent un certain nombre de signaux. Dans le domaine sous-marin, ces technologies sont introduites assez naturellement parce que vous ne pouvez pas télé-opérer car les ondes ne passent pas à partir d’une certaine profondeur. Donc, les technologies de robots autonomes se sont de plus en plus développées dans ce domaine aussi. Aujourd’hui, les robots armés les plus utilisés sont essentiellement des avions sans pilote qui sont largement automatisés, qui peuvent décoller de façon et revenir à leur base de façon automatisée mais qui sont pour les tirs, télé-opérés à très grande distance.

Problèmes psychologiques, moraux et humains des opérateurs

Les films « Good Kill » ou « Eye in the Sky » décrivent les problèmes psychologiques, moraux et humains des opérateurs de drones américains qui se trouvent dans des bases au Nevada et qui opèrent des engins quelque part en Afghanistan. Ce sont des machines qui sont télé-opérées à des milliers de km. Aujourd’hui, la plupart des utilisations de robots militaires sont ce genre de choses qui posent évidemment déjà pas mal de questions car l’opérateur de drones est dans une situation très paradoxale parce qu’il est à la fois à très grande distance et qu’il n’est pas dans l’intensité du combat. Il n’est pas au contact de la gravité de la situation de combat. Il peut diriger ses tirs de missiles et puis à une certaine heure rentrer dans sa famille, aller chercher ses enfants à l’école alors qu’il vient de tirer sur une cible très loin sur un terrain d’opérations extérieures. Mais par les méthodes sophistiquées d’aujourd’hui, ils sont beaucoup plus près qu’un certain nombre de combattants ou de certains pilotes de vols en haute altitude car ils ont la capacité de zoomer sur les objectifs et de voir en temps réel les effets produits par leurs tirs. Donc, on a de plus en plus de problèmes psychologiques graves et de problèmes moraux. D’ailleurs, les rapports des aumôneries militaires américaines décrivent des problèmes très graves, des chocs post-traumatiques qui sont liés au fait que des personnes dans le confort de leur bunker effectuent des tirs en étant à la fois dans une atmosphère similaire à un jeu vidéo mais se rendant compte de la gravité de la chose suite à une proximité visuelle avec l’événement. Il y a cette espèce de paradoxe : autrefois la guerre était soit au corps à corps, soit celui qui bombardait à haute altitude ne voyait pas les résultats de ce qu’il faisait à basse altitude. Aujourd’hui, on a une sorte de mix entre ces deux situations. Cela crée une situation tout à fait inédite qui pose des questions éthiques et avec toute une série de problèmes secondaires qui sont le fait d’une guerre très dissymétrique avec d’un côté des gens qui sont en sécurité, de l’autre des gens sous le tir de missiles.

La dissymétrie de la guerre générant de la sécurité est un leurre (18 :06)

Cette asymétrie engendre en retour de sentiments de vengeance. C’est une sorte d’illusion que de croire que l’on peut faire la guerre avec des robots qui ne coûterait plus de vies avec 50% de robots détruits des deux côtés. Mais c’est un leurre car, dans le fond, dès qu’il y a guerre, il y a recherche, nécessairement, d’une asymétrie. Aujourd’hui, on se rend compte que cette force technologique qui permet de mettre à l’abri pendant un certain temps les soldats ou les pilotes de drones qui opèrent a intensifié une sorte de désir de revanche. Des rapports de l’Ecole de Droit de New-York et de Harvard, on montré qu’un certain regard du terrorisme est lié à cette dissymétrie Donc, puisqu’on ne perd plus de vie d’un côté pendant un certain temps, certains groupes vont essayer de faire payer par la bande. Et qui va payer? Ce ne sont pas les militaires mais les civils. On voit aujourd’hui que cette asymétrie va renforcer le nombre de victimes civiles. On sait bien qu’avec les tirs de drones, grâce aux techniques GPS, on peut faire des frappes au centimètre près et idéologiquement les gens voudraient dire qu’on ne va pas faire beaucoup de victimes puisqu’on peut tirer sur des cibles de façon précise mais le rayon autour de ce centimètre où l’on détruit est d’environ vingt mètres et de plus en plus dans les théâtres d’opérations, les troupes qui sont la cible mettent les installations militaires dans des écoles, des hôpitaux si bien que les victimes se déplacent des militaires vers le côté civil et risquent de poser un problème plus grave. Cette dissymétrie, avec l’idée que peut-être un jour on pourrait arriver à une sorte d’équilibre est une illusion.

Aujourd’hui, cette guerre robotisée, à distance, pose d’énormes problèmes. S’il est légitime de penser faire le moins de victimes possible, d’avoir des frappes à l’objectif strict, en réalité ce n’est pas si simple d’évoluer vers, entre guillemets, une « guerre sans victimes » qui est une illusion.

Aujourd’hui, cette guerre robotisée, à distance, a vu se développer des technologies sophistiquées, d’armes de plus en plus automatisées, avec l’idée que l’on pourrait même aller plus loin et d’avoir des armes de type autonome.

La notion d’autonomie (21 :59)

Je voudrais essayer d’entrer dans le détail de ce que signifierait la notion d’autonomie. Aujourd’hui les drones ont des systèmes d’autopilotage pour décoller et atterrir mais les décisions de tir sont toujours prises par des humains avec un responsable bien identifié.

De plus en plus, on pense à des armes, non seulement largement automatisées mais avec des capacités de plus en plus autonomes. Donc, des robots dont on voudrait, à la limite, qu’ils fonctionnent sans un opérateur humain. Vous avez tout un spectre de possibilités, aujourd’hui, qui est lié aux possibilités des robots.

		Supervision on the programming	Piloting	Supervision on the piloting	Supervision on the Learning
1	« In the loop »	YES	YES	YES	YES
2	« On the loop »	YES/NO	NO	YES	YES/NO
3	« Out of the loop »	YES/NO	NO	NO	YES/NO
1 Remote controlled machines
2 Supervised machines Supervision = you have a contact with the machine and you have the possibility to interact with the machine Supervision on the piloting but not necessary with respect to learning or programming (supervised innovating or not innovating robots) Innovation = self-programming and/or self-learning abilities
3 Autonomous machines = unsupervised machines (unsupervised innovating or not innovating robots)

Le tableau a été présenté au groupe d’experts à la conférence sur les armes classiques à l’ONU en novembre 2017.

Premier niveau

Au premier niveau, vous avez les machines contrôlées à distance. Ce sont les drones que l’on a aujourd’hui et qui, largement, demandent des opérateurs pour ce qui est la décision de tir. Ce sont des machines télé-opérées. Ce sont les machines IN THE LOOP.

Deuxième niveau

Maintenant, on pense de plus en plus à une autre technologie. Ce sont des machines qui sont seulement supervisées c.-à-d. quelles ont la capacité de faire pas mal de choses par elles-mêmes mais il y a toujours un humain qui regarde ce que la machine fait, qui contrôle ce que la machine fait, et éventuellement peut désactiver un certain nombre de modes de fonctionnement de la machine. L’homme n’est pas « dans la boucle de décision » mais est « sur la boucle de décision » ON THE LOOP c.-à-d. qu’il est un peu en dehors du cercle décisionnel. La machine prend « des décisions », entre guillemets. Je reviendrai sur ce terme qui est largement idéologique. Est-ce qu’une machine décide ? Je vais dire pour faire simple : la machine prend des décisions mais l’homme est encore capable pendant un certain temps d’intervenir pour interrompre le processus. Maintenant, vous voyez toute la difficulté s’il s’agit de machines qui opèrent extrêmement vite. Des machines qui, par exemple, sont censées prendre des décisions de tir sur un missile ennemi. Vous n’avez pas énormément de temps pour réagir. Donc, le fait de la supervision doit aussi être pris avec des pincettes car cela veut dire que les mécanismes se réalisent dans des temps nettement inférieurs au temps de réaction de l’humain. Cela n’a peut-être pas énormément de sens. Cela peut avoir du sens si le temps est suffisamment long. Mais rien ne dit que le temps soit suffisant pour que l’homme puisse prendre une décision. C’est cela qu’on appelle des machines supervisées mais, c’est là, que la robotique amène des tas de nuances différentes parce que l’homme peut superviser le pilotage c.-à-d. la machine va effectuer des choses et à un certain moment elle sort du champ d’opération et l’opérateur coupe les moteurs, la fait revenir ou on arrête la mission.

Vers le troisième niveau

Mais il pourrait très bien y avoir une supervision qui porte sur le pilotage et qui, dans le fond, ne porte pas sur d’autres aspects de la machine. Aujourd’hui vous avez des robots qui peuvent se reprogrammer eux-mêmes. Donc, on a des systèmes d’algorithme génétique. Ce sont des programmes qui peuvent se reprogrammer en fonction de l’environnement extérieur avec bien sûr des critères bien déterminés mais qui agissent un peu comme l’évolution darwinienne. Le programme mute à l’intérieur de lui-même et puis l’environnement sélectionne le programme qui semble le plus adapté en fonction de certains critères. Des algorithmes qui permettraient la reprogrammation. On pourrait avoir des machines qui se reprogramment. Pourquoi pense-t-on à ça? Dans des situations inédites ou compliquées, par exemple, même si ce n’est pas militaire, des robots qui opèrent sur Mars, et qui doivent résoudre un certain nombre de problèmes inédits. Vous savez que le problème de Mars, pour les humains, n’est pas seulement d’y aller ou de résister aux radiations cosmiques mais c’est le temps de communication. Il y a 20 minutes de décalage. C’est un problème important dans le spatial. Donc, si la machine tombe sur un problème, celle-ci doit le résoudre par elle-même. D’où l’idée d’avoir des machines capables de s’auto adapter d’un point de vue programmation. Mais d’un point de vue militaire, cela prend une signification tout à fait embêtante car, qu’est-ce que cela veut dire? Se reprogrammer, c’est peut-être se donner de nouveaux buts à une mission prescrite. Il existe aujourd'hui une firme française qui fabrique un drone sous-marin d’une certaine autonomie, capable de naviguer, de surveiller les ports, de rester éventuellement caché un certain temps puis de revenir à la surface pour effectuer certaines opérations. On peut penser au blocus dans certains pays. Il existe des technologies de ce type-là. Imaginons des drones sous-marins, qui à un certain moment, rencontrant des comportements agressifs de la part de certains bateaux, commencent à se reprogrammer en apprenant, grâce à des capacités d’apprentissage, de nouvelles réactions et se redonnant de nouvelles missions. On a déjà cela sur le Net. Les robots ne sont pas seulement des robots physiques.

Les robots (29 :37)

On appelle « robots », des machines qui ont des capteurs, des processeurs permettant de traiter l’information et des éléments qui permettent d’agir sur l’environnement. Vous avez des machines qui ne sont pas physiques, des machines électroniques qui font çà. Vous avez dans le réseau électronique, des machines qui peuvent acquérir de l’information sur ce que vous faites, traiter cette information, par exemple, regrouper les informations sur où vous êtes allé et puis décider de vous envoyer de la publicité. Tout le monde a déjà vu çà. La première fois que j’ai vu arriver sr mon ordinateur des publicités pour des livres de mathématiques, je me suis demandé comment c’était possible. Aujourd’hui, on sait que ce sont des machines qui recoupent des données sans opérateur humain. C’est par recoupement statistique que l’on va vous proposer quelque chose. Si vous utilisez votre carte bancaire pour faire vos courses et si vous utilisez votre GPS, au bout d’un certain moment, on va vous proposer des publicités pour des magasins près de chez vous. Ce n’est pas un humain qui a fait çà, c’est un système électronique. Ce n’est pas de la science-fiction. Aujourd’hui, nous avons des robots électroniques qui rédigent des petits articles. Il y a un robot électronique qui fait de la chronique financière. Il acquiert de l’information à propos des cours boursiers sur le réseau, et vous fait de petites dépêches automatiquement sur l’actualité boursière aux Etats-Unis.

On a fait l’expérience de mettre de petits robots électroniques au contact avec toute une série de personnes de la société américaine. On leur donne des capacités d’auto-apprentissage non supervisées. Au bout de deux semaines, ce réseau électronique est devenu complètement impoli, raciste, violent. Il avait suivi ce qui se passait sur le réseau. Il avait appris comment on parle. Si vous n’apprenez pas à des enfants comment on doit parler, comment on doit se comporter, au bout d’un certain moment, ils imitent ce qu’ils voient à l’extérieur. Et le robot a fait çà. Ce qui peut être amusant, une expérience saisissante devient gravissime dans le cadre du problème de la défense.

Acquérir les bons comportements face à l’ennemi ou à des insurgés (32 :26)

Si vous laissez les systèmes auto-apprendre, ils vont trouver des configurations optimales pour aller torpiller l’ennemi. Mais, éventuellement, si on doit pour obtenir un résultat militaire, si on doit maximiser l’utilité, et qu’on doit massacrer des civils, peut-être que la machine va apprendre qu’il est très utile de bombarder des colonies civiles pour embêter l’ennemi et lui faire perdre du temps. C’est ce que les Allemands ont fait durant la Seconde Guerre mondiale sur des colonnes de réfugiés.

Un système pourrait apprendre des choses qui sont contraires au droit humanitaire international, aux droits de la guerre, si vous voulez. Donc, on pourrait imaginer des systèmes qui sont supervisés de l’extérieur mais qui ont des capacités d’auto-apprentissage et d’auto-programmation. Et çà, ce seraient des systèmes où l’homme n’est plus « dans la boucle de décision».

Le troisième niveau

OUT THE LOOP. Il n’est plus qu’à l’extérieur et il regarde ce qui se passe. On pourrait dire qu’il contrôle les limites d’une zone dans laquelle opère un sous-marin et, éventuellement, il peut l’arrêter s’il sort. Mais ce qu’il fait à l’intérieur de la zone, peut-être que là, il n’a plus les mêmes possibilités parce que le robot a les capacités de faire des choses lui-même. Sur la photo, vous avez la ligne OUT THE LOOP… Pas de supervision du pilotage, pas de pilotage direct, pas nécessairement de supervision du programme et pas de supervision non plus des capacités d’apprentissage.

Diluer la responsabilité

Evidemment, d’un point de vue éthique et d’un point de vue légal, ça change tout. Parce que si une machine télé-opérée commet des dégâts collatéraux, on peut attribuer la responsabilité juridique et éthique à une personne qui est bien identifiée. Si vous avez un programme qui est laissé à lui-même, une machine qui n’est plus télé-opérée, qui prend, entre guillemets, des options de tir sur des cibles sans la médiation d’un humain, alors, au niveau de la responsabilité, vous allez dire que c’est celui qui a mis en jeu ces machines qui est responsable. Il y a un adage juridique qui dit que celui qui fait faire quelque chose via un autre est tout aussi responsable. Ce n’est pas parce que j’ai fait commettre un délit par quelqu’un d’autre que, moi, je ne suis pas responsable. Oui, je suis effectivement responsable de l’acte que je fais faire par un tiers. Mais la différence avec les systèmes robotisés, les systèmes d’Intelligence Artificielle, et c’est là que se trouve un problème majeur, aujourd’hui, des nouvelles technologies robotisées, c’est que la technologie est un écran qui permet de diluer ou de cacher la responsabilité. C’est pour cela que se développent de plus en plus ces technologies. Si un pilote de F16 lâche par mégarde une bombe sur un village, croyant que c’est un objectif militaire et qu’il tue des civils, il va se retrouver devant la justice parce qu’on va discriminer combattants et non-combattants, il prend une décision de tirer sur un objectif. Peut-être qu’il ne le savait pas, mais, ultimement, on va lui dire : « vous auriez dû vous assurer, ou le commandement aurait dû s’assurer que c’était un village et pas un objectif militaire ». Maintenant, si un drone télé-opéré effectue ce même tir avec un même dégât collatéral, il faut lire les journaux qui rapportent certaines erreurs de tir. Dans les journaux, on ne dit pas que c’est un pilote qui a tiré un missile par mégarde, mais c’est un drone qui a tiré, a traité un cible … Le fait que ce soit par la médiation d’une technologie sophistiquée fait que, subjectivement, on a l’impression qu’on est moins responsable. Ce n’est pas vrai, mais, je complexifie, le propre de ces technologies augmentées c’est que dans la décision du tir vous avez une multitude d’agents technologiques qui sont engagés. J’avais été frappé, en discutant avec un pilote d’hélicoptère qui me disait que maintenant, ils ont des sortes de lunettes Google, des casques sur lesquels on projette des informations. On pourrait imaginer un vol de nuit avec tir sur un objectif et sur la visière du casque s’indique par des petits carrés qui est ennemi, qui est ami. Le pilote arrive sur l’objectif et a déjà toute une série d’informations virtuelles. S’il prend la décision de tir parce qu’il a eu des indications qui lui disent « ça, c’est un objectif », car il y a des systèmes qui reconnaissent la course, des gens qui s’enfuient, qui sont peut-être potentiellement dangereux. Le système intègre tout ça, un satellite fait du repérage, un avion a transmis des informations et il fait le tir. Qui est responsable? Il y a tout un réseau d’acteurs qui peut être incriminé. Vous pourriez dire que c’est le chef qui est responsable. Mais le chef va dire: « Etes-vous sûr que le GPS a bien fonctionné ? » « N’est-ce pas un problème de projection sur la visière? ». On va entrer dans un processus de procès pour établir les responsabilités qui va durer longtemps. Plus il y aura de procédures, moins on va épingler les responsables et puis on va les oublier, et puis on va peut-être indemniser, puis ce sera fini.

L’homme augmenté (38 :49)

Une question intéressante aujourd’hui sur les nouvelles technologies : les technologies de robotisation et d’augmentation de l’humain.

Les casques de visée, c’est l’homme augmenté, c’est l’homme qui ne voit plus la réalité sensorielle, qui voit beaucoup plus qu’il ne doit voir. Il voit dans l’infrarouge. Il voit des informations qu’on lui donne et qui sont construites de l’extérieur et représentées d’une certaine manière et qui va induire un certain comportement. Si on vous montre des choses, on peut vous induire rien qu’en soulignant des informations importantes et d’autres qui le sont moins. Donc, l’homme augmenté de tout ça et la robotisation a comme conséquence aussi de perturber la chaine des responsabilités. C’est donc quelque chose qui juridiquement et éthiquement a une importance capitale.

Les LAWS (40 :36)

On peut, aujourd’hui, aller beaucoup plus loin et avoir des machines où l’homme n’est ni dans la boucle de décision, ni à la surface de la boucle, mais complètement à l’extérieur. On laisse opérer la machine dans un champ donné avec des capacités très importantes de reprogrammation, d’auto-apprentissage et même de pilotage. Ces machines seraient ce qu’on peut appeler des MACHINES AUTONOMES. Les anglo-saxons les appellent les LAWS (Lethal Autonomous Weapon System). C’est ce genre de systèmes qui sont aujourd’hui au cœur d’un débat à l’ONU. Suivant le type de machines que vous considérez, vous avez des problèmes éthiques et des problèmes légaux extrêmement importants. Si vous prenez, par exemple des machines qui ont des capacités de décision sans la médiation d’humains, des machines qu’on pourrait appeler « innovantes », donc, capacité d’auto-apprentissage, capacité de reprogrammation, capacité de se piloter elles-mêmes dans une zone déterminée. C’est évident que si vous avez un accident, le problème est de savoir comment nous allons faire pour établir les responsabilités et, avant tout, peut-on laisser une machine se donner elle-même ses objectifs ?

Four concepts(42 :14)

Four concepts : CONTROL, SUPERVISION, AUTONOMY, INNOVATION (creativity)
1	Remote Controlled Machines (are steered by an operator)	Present drones
2	Strongly SUPERVISED Machines (are not steered by by an operator but …)	the set of the potential behaviors are known (exactly or statistically) NOT INNOVATIVE MACHINES
	Supervision on the piloting (and on the action field)
	Supervision on programming and
	Supervision on learning process
3	Weakly SUPERVISED Machines	the set of the potential behaviors are not known (even statistically) INNOVATIVE MACHINES
	Supervision on the piloting
	No supervision on programming or
	No supervision on learning process
4	Weakly AUTONOMOUS Machines	the set of the potential behaviors are known (exactly or statistically) NOT INNOVATIVE MACHINES
	No supervision on the piloting (but maybe on the action field)
	Supervision on programming and
	Supervision on learning process
5	Strongly AUTONOMOUS Machines	the set of the potential behaviors are not known (exactly or statistically) INNOVATIVE MACHINES
	No supervision on the piloting (but maybe on the action field)
	No supervision on programming or
	No supervision on learning process
6	From a legal and ethical point of view	Absence of Supervision or accepting innovation (robot “creativity”) are important concerns!!

Peut-on laisser une machine prendre, elle-même des décisions? Problème que nous avons déjà dans le civil avec les voitures autonomes qui, à un certain moment dans le futur, prendront des décisions. Si elles rencontrent des dilemmes, si elles doivent éviter un obstacle, elles devront choisir de mettre en danger les personnes se trouvant à l’intérieur de la voiture pour sauver celles qui sont devant elles ou vont-elles choisir de se mettre à l’abri pour écraser les personnes dans la rue. Comment va-t-on gérer ces problèmes dans le cadre des voitures autonomes et comment va-t-on gérer le problème de la responsabilité ?

Personnalités morales (43 :08)

Vous savez qu’il y a eu l’an passé au Parlement européen une proposition de donner aux robots autonomes des PERSONNALITES MORALES. On peut considérer que ce ne sont pas des personnes qui sont responsables mais des personnes morales auxquelles on associe un fond d’indemnisation des victimes. Aujourd’hui on peut se dire comment nous allons faire pour établir des responsabilités et va-t-on se satisfaire simplement de fonds d’indemnisation en cas de dégâts collatéraux.

Suspendre les recherches sur les machines de grande autonomie ? (43 :51)

Aujourd’hui se pose de manière très cruciale dans la conférence sur certaines armes conventionnelles à l’ONU ce problème: « Doit-on suspendre les recherches concernant ce genre d’armes dotées de capacités létales et de grande autonomie ? ». C’est un problème extrêmement important : « Doit-on laisser sur le marché ce genre de choses ? ». « Et si on les accepte, quel genre de réglementations, quel genre de principes vont guider l’introduction de ce genre de machines ? ». Beaucoup de délégations sont en discussion à l’ONU dans cette conférence sur les armes classiques.

Entre parenthèses, c’est dans cette conférence que l’on a eu le traité sur les armes « anti-personnel » dans lequel la Belgique a joué un rôle moteur: Traité contre la prolifération des mines anti-personnel et traité contre les LASER aveuglants de haute puissance. Donc, se discute dans le cadre de cette conférence ce genre de technologies et, entre autres, le Saint-Siège a pris des positions extrêmement en pointe par le biais de leurs observateurs en disant qu’il faut absolument poser les problèmes avant qu’on ne développe ces technologies parce qu’il en va de l’éthique fondamentale des conflits armés mais également d’une éthique respectueuse de l’être humain. Beaucoup de délégations se penchent aujourd’hui sur ce problème et je voudrais simplement donner quelques pistes pour entrer dans une réflexion sur ces choses-là.

J’ai surtout décrit la situation mais maintenant je voudrais entrer dans certains repères.

Quels sont les problèmes éthiques … ? (45 :57)

Quel est le problème éthique posé par les robots autonomes armés mais aussi par tout ce qui est augmentation de l’humain ? Je n’en ai pas parlé, j’ai surtout mis l’accent sur la robotique mais on pourrait dire qu’il y a une robotisation autonome de l’humain qui peut se faire via ce qu’on appelle le soldat augmenté.

Le soldat augmenté

Par exemple, on pourrait très bien implanter des puces dans le corps humain, dans le cerveau humain. Aujourd’hui, certains étudiants m’ont dit que dans certaines boites de nuit espagnoles, on peut payer ses consommations sans carte bancaire, simplement parce que les gens ont des puces injectées dans le bras et le fait de passer devant le comptoir vous permet le paiement. Dans certaines entreprises, aujourd’hui, on introduit des puces permettant aux cadres d’entrer dans certaines zones de l’usine ou bureaux en donnant accès à certaines zones sensibles. En même temps, on peut tracer et savoir où sont les cadres. Et, éventuellement, s’ils sont enlevés, on peut les exfiltrer au bon moment. On peut dire que c’est intéressant mais si je proposais à mon épouse de lui faire ce genre d’opération pour que je sache à tout moment où elle est, et le montant de mon compte bancaire dans des magasins de souliers, etc.… je ne sais pas si elle serait d’accord. Et je ne sais pas si, vous, vous seriez d’accord que votre conjoint vous piste ou que vos enfants soient pistés en permanence. Comme parent, je serais rassuré de savoir où sont mes enfants. C’est relativement légitime mais …

Rendre l’humain de plus en plus transparent ?

Si on pousse la logique à fond, il y a quelque chose de l’autonomie de la personne qui est perdu parce que finalement en dessous de tout cela, il y a l’idée des technologies qui augmentent l’humain pour rendre l’humain de plus en plus transparent. Mais, dans le fond, il y a quelque chose de la beauté de la relation humaine qui se joue dans le fait que tout n’est pas transparent. Il ne viendrait à personne d’aller fouiller dans les affaires de quelqu’un qu’on aime en prétendant qu’on a tous les droits et que comme ça on connait mieux la personne qu’on a devant soi. Non, au contraire, il y a quelque chose qui se donne de la connaissance des personnes dans le refus d’une transparence totale. Or, il y a en dessous de tout ça l’idée que on pourrait aller de mieux en mieux dans le contrôle des affaires humaines si on avait une traçabilité absolue et si on pouvait tout contrôler. J’ai parlé surtout des robots.

Robotiser l’humain … Humaniser les robots (49 :32)

Mais, si à la fois on pouvait donner aux robots des capacités de plus en plus humaines, décisionnelles, d’apprentissage et symétriquement on pourrait robotiser l’humain.

On y pense de plus en plus dans un deuxième aspect des conflits aujourd’hui. Il y a deux composantes centrales dans les conflits. Les robots, pour systématiser, pour caricaturer, les drones. Mais en fait on ne peut rien faire totalement avec les drones si on n’a pas toute une composante qui reste humaine et qui serait plutôt du côté des services de renseignements et des forces spéciales. Les forces spéciales sont des gens qui agissent dans des situations extrêmes de stress, de fatigue, etc. …

Et, de plus en plus on donne à ces personnes des capacités qui sont largement au-delà de vos capacités à vous. En 1940, les soldats allemands avaient ingurgité des substances qui leur permettaient, comme les pilotes, de rester éveillés pendant de longues heures. Cela a créé des problèmes de dépendance. C’est déjà une augmentation. Mais on pourrait augmenter les combattants en leur intégrant un certain nombre de puces électroniques à tel point que, si le soldat des forces spéciales était capturé, il serait possible de télécommander de l’extérieur une puce qui injecterait un produit qui le tue pour éviter qu’il ne révèle des secrets.

Donc, HUMANISATION des robots d’un côté mais ROBOTISATION de l’humain de l’autre.

Les deux peuvent aller de pair. Ce qui se joue d’un point de vue éthique, c’est finalement de savoir face à toutes ces technologies que peut-on admettre pour rester HUMAIN (51:35). Est-ce que la société peut admettre de combattre avec tel ou tel système ? Est-ce qu’elle est autorisée à robotiser ses soldats de telle manière que l’on construise une humanité ? Mais laquelle? Est-ce qu’on peut tolérer un certain nombre de choses qui ferait en quelque sorte sortir de l’humanité ? Ce que je voudrais montrer c’est que ce qui doit rester le phare de notre réflexion pour savoir, par exemple, si on peut admettre ou non des armes autonomes ou alors une augmentation des soldats, c’est une vision de la personne humaine.

Confusion entre l’homme et la machine (52 :18)

Le plus grand des problèmes éthiques qui se pose aujourd’hui c’est la confusion entre l’homme et la machine. Jusqu’où peut-on aller dans l’introduction de systèmes qui, d’une certaine manière, effacerait, prétendrait effacer la différence entre l’homme et la machine ?

Le problème éthique fondamental pour moi c’est le fait que même si la machine est très puissante, même si elle a des capacités et doit être utilisée dans les cas où elle peut rendre service à l’homme, il y a quelque chose dans les machines qui ne peut pas entièrement identifiée à la personne humaine. Et je voudrais essayer de montrer quoi, évidemment. Le problème essentiel c’est la confusion ou une idéologie qui voudrait dire :

La MACHINE et l’HOMME un jour ne feront qu’un.

Je voudrais montrer qu’à la fois il faut intégrer les machines pour ce qu’elles ont d’intéressant pour l’humanité mais si on biffe la différence entre l’humain et la machine des problèmes énormes vont se poser.

La cohérence anthropologique (53 :30)

Deuxièmement, un des problèmes se pose quand l’introduction des machines se retourne contre l’être humain. On pourrait dire qu’un des guides c’est la cohérence anthropologique. On ne pourrait pas introduire des machines qui ultimement se retourneraient complètement contre l’être humain.

Je vous donne un exemple que j’ai vécu. J’ai discuté avec un PDG d’une société qui fabrique des exosquelettes. Les exosquelettes sont, d’une certaine manière, extrêmement utiles car on peut imaginer, à termes, que des personnes handicapées puissent retrouver le mouvement grâce à une structure mécanique qui est couplée via un ordinateur à leur cerveau. Donc loin de moi, l’idée de dire que ce n’est pas intéressant. Cela pourrait rendre des services extraordinaires ou bien ça permettrait à des personnes de faire des travaux assez lourds même si leur résistance physique est moindre. Dans toutes ces applications, c’est excellent. Et même avec le large degré d’autonomie qui permettrait à la personne de se mouvoir sans trop de difficultés. Mais, en discutant avec ce chef d’entreprise, il me disait qu’il avait reçu des demandes de personnes qui voulaient développer des exosquelettes extrêmement imposants pour pouvoir, avec le poing, défoncer un mur. Le patron a demandé si le demandeur était maçon, démolisseur. Non, c’était pour donner la possibilité à des gens de s’amuser, d’avoir la capacité d’arracher des sièges de la salle, et de devenir quelqu’un de superpuissant. Le chef d’entreprise a répondu que non seulement il était contre l’idée, le fait d’être prisonnier de ses fantasmes, ce qui est toujours dangereux. Il disait aussi : « si je développe ce genre de structures qui sont tellement puissantes, à un certain moment, si elles ne fonctionnent pas bien, elles risquent d’écraser la personne elle-même ».

On a eu des cas comme ça pour des structures qui permettaient de porter des patients. Les ingénieurs m’avaient raconté qu’un des problèmes est que ces machines sont tellement sophistiquées, qu’ils avaient peur, ils devaient prendre des précautions pour que la machine n’écrase pas le patient. Donc, il ne faudrait pas qu’à un certain moment, la machine se retourne contre ce que l’humain voudrait (56 :11).

C’est un des arguments qu’on fait jouer aujourd’hui à l’ONU en disant qu’un certain nombre de nations veulent des robots de plus en plus autonomes, pour peut-être perdre des soldats mais aussi pour faire des choses et dire : « c’est pas moi, c’est la machine ». Je ne juge pas leurs intentions mais il y a ce risque-là. Un des arguments qu’on fait jouer, c’est que si on introduit des machines comme ça, même si on est le plus barbare des régimes, un jour ou l’autre, la machine va faire quelque chose éventuellement que le politique ou le militaire n’a pas décidé et va se retourner sur les finalités de la mission. C’est un argument qu’on fait jouer très facilement. Même si un jour vous voulez introduire ces technologies militaires de haut niveau, est-ce que vous accepteriez que la machine apprenne des comportements qui vont dévier par rapport à vos finalités politiques ou militaires ? Souvent, ils disent qu’ils ne le veulent pas. Aujourd’hui, on a une sorte de barrage contre l’introduction de machines qui seraient trop autonomes.

Jusqu’où aller dans l’autonomie ? (57 :26)

La question est de savoir entre les deux jusqu’où aller dans l’autonomie. C’est la qu’on peut réfléchir avec les deux critères.

Certainement une machine qui se retournerait contre l’humain parce elle est autonome devrait être proscrite.
Ou une augmentation de l’humain se retournerait contre l’humain.

Imaginons des forces spéciales qu’on a dopées pour quelles puissent rester éveillées pendant trois, quatre jours. De plus, on leur a injecté des puces électroniques pour pouvoir les pister par GPS et les exfiltrer en cas de danger. Puis on leur a mis à l’intérieur des petites machines robotisées qui détectent leurs paramètres corporels. Dès qu’ils détectent, par exemple, des neurotoxiques, injectent de l’atropine pour contrecarrer les effets automatiquement. La question est de savoir, quand ces soldats vont rentrer dans la vie civile, comment va-t-on les rendre à leur état initial. Le gros problème au niveau juridique est, lorsque vous signez à l’armée vous accepter un certain nombre de dangers. Mais est-ce qu’on pourra aller jusqu’à exiger d’un militaire de mettre sa santé et son futur médical en danger mais que retraité et soi-disant en bonne santé il continue à souffrir parce qu’on lui a injecté des choses, parce qu’il a des machines qu’on ne peut pas enlever. Il y a quelque chose qui se retournerait contre l’humain lui-même et qui même juridiquement poser un certain nombre de questions. C’est un critère important. Aux gens qui disent que l’on va développer ces technologies et c’est difficile de s’y retrouver moralement. C’est peut-être difficile, mais ce que je vois dans les instances internationales, ce qui touche les gens, c’est que les gens ne voudraient pas que des machines se retournent contre eux à long terme. Et ça c’est un principe de non contradiction anthropologique. Il faut que le développement soit cohérent avec ce que l’homme, ultimement, voudrait.

La non-confusion de l’homme et de la machine (59 :50)

La deuxième chose serait la non-confusion de l’homme et de la machine. Entendez bien que les machines autonomes, on ne pourra pas les éviter. Pourquoi? Parce que dans un certain nombre de situations, l’autonomie peut être un gage de sécurité. Je prends un exemple.

Longtemps, quand j’ai commencé à m’intéresser à ce sujet, je me souviens, j’étais plutôt convaincu qu’il ne fallait pas laisser trop d’autonomie aux machines parce que j’avais peur qu’à certains moments elles ne fassent pas ce qu’on voudrait. Mais entretemps est survenu le crash de la « German Wings ». A ce moment-là, un certain nombre d’ingénieurs ont dit que si on avait eu à bord de l’avion un système autonome qui repère un comportement aberrant et qui prend de manière autonome, où l’homme n’intervient pas, la décision de suspendre le pilotage humain, de reprendre la main pour aller atterrir en sécurité. Là, on aurait pu dire que l’on aurait sauvé des vies grâce à la non-intervention de l’humain. Donc, la question n’est pas de dire qu’on va complètement supprimer l’autonomie. On pourrait très bien imaginer dans le domaine militaire des systèmes autonomes qui empêchent un commandant d’unité de commencer à avoir des comportements aberrants en tirant sur n’importe quelle cible. Il existe aujourd’hui en médecine des robots de télé-chirurgie ou de chirurgie de précision qui possèdent des systèmes qui détectent des mouvements aberrants si bien que si un chirurgien faisait une opération qui mettrait en danger la vie du patient, il serait bloqué. Sur les drones d’observation, on a des systèmes qui permettent si, par exemple, l’opérateur fait un mouvement qui jetterait le drone sur le pont qu’il est censés surveiller, de bloquer automatiquement et reprendre en main du robot. Donc, loin de moi, l’idée de dire qu’il faut exclure l’autonomie. Il faut, peut-être accepter l’autonomie quand elle reste au service de la personne et, dans le fond, n’induise pas une réaction ou une idéologie qui identifierait l’homme à la machine. Mais le grand problème est de savoir quels sont les caractères spécifiques à l’humain ? (01 :02 :19)

Les six caractères spécifiques à l’humain (01 :03 :07)

Est-ce qu’on peut se mettre d’accord, dans un monde multiculturel, sur ce qui ferait ce fond d’humanité ? Je crois qu’il est, dans ce débat, extrêmement utile de faire cette réflexion. Il faut admettre un certain nombre de technologies de ce type-là mais il faut situer très précisément où la machine ne peut pas, dans le fond, être identifiable. Quelles sont les caractéristiques propres à l’humain qui pourrait nous aider à réfléchir sur les possibilités d’introduire ou non ce genre de machines autonomes en particulier dans le domaine de la sécurité et de la défense.

Je vais donner six points qui détermineraient une sorte de caractéristique de la personne humaine.

L’être humain est un être de création et d’innovation (caractéristique #1)

Je crois profondément que l’être humain est un être de création et d’innovation dans le sens suivant. Une machine, même autonome, est toujours liée à un programme. Même si c’est un programme qui permet de se reprogrammer, c’est toujours avec des règles de reprogrammation. Or il se fait que dans la plupart cas les problèmes que rencontrent une machine de combat ou un être humain viennent dans des situations inédites. De tout temps, on savait ça. Un magistrat peut tomber dans un prétoire sur un cas où il y a un vide juridique, ou des règles sont contradictoires, ou il y a un flou, … La jurisprudence est là pour éclairer. Mais, un magistrat est là pour faire fonctionner le droit, même dans des cas où le droit, éventuellement ne fonctionnerait plus. Mireille Delmas-Marty, titulaire de la chaire de droit international au Collège de France se penchant sur ce problème de la robotisation, du droit, des affaires militaires disait toujours qu’on aura toujours de plus en plus besoin des robots, et même de robots autonomes. Mais on ne pourra jamais remplacer le magistrat par un robot. Et on pourrait dire ici dans les affaires militaires remplacer le commandant d’unité par une machine car on ne pourra jamais se passer de ce roseau pensant qu’est l’être humain parce que le juge, à un certain moment décide de juger au bénéfice du doute ou de suspendre son jugement pour permettre la réconciliation et le pardon. On connait des situations où le juge va permettre que quelqu’un ne paie pas ses impôts pendant un certain temps alors que la règle l’oblige afin de rétablir la situation financière pour que plus tard il puisse payer ses impôts. Il n’applique pas la règle pour sauver la règle. Or, dans le fond, les machines, même sophistiquées, ne peuvent pas dans toute situation inventer quelque chose pour lesquelles elles ne sont pas prévues. On pourrait dire qu’il y aura des machines sophistiquées qui, etc. … C’est vrai, je n’en sais rien. Il y aura peut-être des machines hyper sophistiquées qui vont pouvoir inventer des solutions juridiques, militaires, etc. Mais pensez simplement à ça. Est-ce que ultimement on pourrait remplacer totalement un artiste par une machine. On peut faire de la musique synthétique. De grands compositeurs utilisent l’informatique pour faire de nouvelles musiques mais irait-on jusqu’à dire qu’on n’a plus besoin des compositeurs. Qu’en fait, ultimement, une machine fera aussi bien. Ou bien, est-ce qu’on peut dire que l’on va remplacer les mathématiciens par des machines à démontrer des théorèmes. Et on aura un jour une machine qui fait aussi bien que les mathématiciens. Notez que dans le domaine de la sécurité et de la défense, on pourra remplacer n’importe quel décideur humain par une machine qui prend des décisions aussi bien que l’humain. Pourquoi je ne crois pas à ça? Parce que le propre du décideur qu’il soit militaire, qu’il soit médecin, magistrat, chef d’entreprise, ou même professeur en délibération, ne peut pas être remplacé par une machine car le propre de l’humain c’est de créer de l’inédit, de créer ce qu’aucune règle, aujourd’hui, n’a prévu. On fait des machines qui, aujourd’hui, démontrent des théorèmes mieux et plus rapidement que l’humain. Mais l’invention conceptuelle, inventer de nouveaux concepts, toute l’histoire des mathématiques consiste à inventer face à des difficultés conceptuelles quelque chose auquel personne n’avait jamais pensé et qui ne suit aucune règle parce que toutes les règles d’avant disaient que c’était contradictoire. Que fait un magistrat ou un médecin devant un dilemme? Je fais ça, il y aura telles mauvaises conséquences. Je fais telle autre chose, il y aura telles autres conséquences. Qu’est-ce que je choisis? Est-ce qu’une machine va faire mieux que l’humain? Ou l’humain mieux que la machine? Non, mais l’humain va prendre une décision, risque quelque chose, invente une solution, et en porte les responsabilités (01:07:59)

Donc, il y a quelque chose dans l’humain qui est lié à la possibilité de transgression de toute règle. Or par définition, une machine, même hyper sophistiquée, même programmée pour transgresser les règles, transgressera les règles suivant les règles de transgression des règles. Mais elle n’arrivera pas à inventer quelque chose qui dépasse toute transgression de règles. L’être humain est dans le fond un être transgressif. Il invente. Et c’est pourquoi tous les grands créateurs d’art comme tous les grands mathématiciens connaissent parfaitement les règles de l’harmonie musicale, des opérations mathématiques mais qui parviennent toujours à dépasser toutes les règles pour faire de l’inédit. Face à une situation de combat, que fait un officier face à un dilemme moral ? Ce qu’il rencontre de plus en plus puisque la plupart des combats aujourd’hui sont urbains mêlant combattants, non-combattants, enfants, … Qu’est-ce qu’il fait ? Il est appelé à prendre des décisions qui consistent éventuellement à sortir complètement des règles pour sauver l’esprit des règles. Normalement, un soldat doit assurer la sécurité de sa troupe. Mais si, pour exfiltrer des gens d’un hôpital, il est obligé de faire des victimes parce que c’est un hôpital pour enfants, un officier peut se mettre en danger et décider qu’il va mettre sa troupe en danger pour sauver des vies innocentes. Il sort des règles, de la programmation utilitariste, pour sauver l’esprit. Parce que l’esprit, c’est éliminer l’adversaire mais pas faire des victimes qui n’ont rien à faire avec ça. Il y a quelque chose de l’ordre de l’invention et de la créativité que la machine n’a pas. La machine peut aider à la créativité mais il n’y a pas de règles de la créativité. Sinon, demain on pourrait vous donner la recette pour devenir Einstein. Il n’y a pas de recettes pour devenir Rubens. Beethoven, … Vous avez des techniques de musique, des techniques picturales, des techniques mathématiques mais demain qui peut prédire ce que seront les nouvelles théories en physique ou quel sera le nouvel artiste musical ? Qu’est-ce qui fera sa grandeur ? Par définition ce qui est inédit ne suit aucune règle. Mais les algorithmes, ce sont des règles. Il ne faut pas l’oublier.

L’être humain est un être de sens (caractéristique #2)

Les être humains non seulement acquièrent des informations, extraient des informations mais leur donnent du sens. (01 :10 :33) Or, donner du sens, c’est voir plus que ce qu’on voit. C’est d’une certaine manière percevoir en dessous des situations quelque chose de plus que ce qu’on devrait voir. Ici, je vous vois. Qu’est-ce que je vois ? Je vois certainement plus que ce que je vois. Pourquoi ? Parce que je vous considère comme des personnes humaines. Celui qui dit, je vois des paquets de molécules. C’est vrai mais en même temps ce n’est pas vrai. C’est vrai mais il y a quelque chose de plus qui est le sens. Mais si dit que vous n’êtes qu’un paquet de molécules, il y a énormément de choses dans le droit qui s’effondrent. Très vite, vous allez vous retrouver dans un chaos terrible. La distinction entre les choses et les personnes, vous la supprimez et c’est la catastrophe. Le droit classique est fondé sur une distinction entre les choses et les personnes. Donc, on pourrait dire que l’être humain est un être de sens. La machine peut dégager des corrélations mais elle ne peut pas entièrement donner du sens. Par exemple, aujourd’hui, on voudrait donner à des machines de sécurité et de défense la capacité de reconnaitre qui est un rebelle et qui ne l’est pas ? Qui est terroriste et qui ne l’est pas ? Qui a une tête de terroriste et qui ne l’a pas ? On apprend à la machine à reconnaitre. Qui va-t-elle réellement reconnaitre ? Qui va trouver le sens ? La semaine dernière, quelqu’un me faisait remarquer que dans certaines régions du monde, à douze ans, le petit garçon reçoit comme symbole de sa virilité une Kalachnikov. Imaginez qui est combattant ? Qui est non-combattant ? Et vous apprenez à la machine autonome qui est combattant. Et très vite, le combattant est celui qui a une arme, qui a certaines caractéristiques. Mais très vite la machine pourrait très bien extraire des caractéristiques qui vont faire que l’on va tirer sur des innocents. L’être humain est capable de repérer, de donner du sens, de repérer de minuscules détails qui vont faire qu’il va interpréter une situation d’une certaine manière. On pourrait dire que la machine va aider à interpréter mais il y quelque chose dans la recherche du sens qui pourrait échapper radicalement à des machines autonomes. On voit bien, aujourd’hui, le risque des règles qui standardisent les mauvais. On sait bien qu’à un certain moment la grandeur est de dépasser ces règles-là. En fait, les machines vont faire ce que les êtres humains font. Il y a des têtes qui vont leur convenir et d’autres têtes qui ne vont pas leur convenir. La grandeur de l’homme c’est de dépasser les aprioris et d’aller trouver la richesse dans une tête qui ne me revient pas. Mais, est-ce qu’une machine va pouvoir faire ça ? C'est-à-dire dépasser les règles qu’on lui a apprises pour reconnaitre les personnes qui sont ses amis. Mais la grandeur de l’humain est de reconnaitre du sens là où ce sont mes ennemis. Un chef militaire faisait remarquer que dans le fond ce qui fait la valeur éthique du combattant c’est d’agir pour remplir sa mission mais sans haine. A partir du moment où un combattant, un militaire commence à agir avec de la haine, et à travailler sur des règles automatiques de signalement du mauvais, c’est à ce moment que va surgir la catastrophe. Je vais terminer rapidement de décrire les quatre autres caractéristiques. (01 :14 :36)

L’être humain a un corps (caractéristique #3)

Je voudrais dire aussi que l’introduction de ces machines fait comme si l’être humain pouvait être remplacé par des systèmes qui n’ont pas de corps. Or, il y a quelque chose qui est le propre de notre condition est que nous avons un corps. Ce corps est fondamental pour ce qui est la notion d’empathie. Nous ressentons en notre corps. C’est pour ça que mettre un opérateur de drone à 5.000 km de sa cible est quelque chose qui peut être terrible parce que, s’il est jeune et qu’il n’a jamais connu le combat, il ne peut pas ressentir dans ses tripes ce que c’est que l’angoisse, la peur, la fatigue, … Il y a quelque chose qui est ressenti dans son corps qui ne peut pas l’être. Une machine peut détecter un certain nombre de choses, elle ne peut pas ressentir en son corps quelque chose puisqu’elle n’a pas de corps. On fait comme si on pouvait s’en passer et comme si les robots autonomes y compris androïdes, détecteurs d’émotions, etc. … pouvait remplacer. Il y a un vécu du corps qui est central. Et nos limites corporelles ont une importance énorme d’un point de vue de l’éthique. Nietzche disait : « les Grecs étaient superficiels par profondeur ». J’inverse cette citation : « L’être humain peut être profond par sa surface ». Le corps de l’homme fait partie de sa profondeur. Toucher son corps, c’est toucher ce qui est au cœur de l’humain. Nous ne sommes pas seulement une structure mentale. Faire des machines sans corps, c’est enlever quelque chose qui est central dans la perception éthique des situations. Quand on dit dans le langage hébraïque qu’on a de la miséricorde, cela veut dire qu’on est touché dans ses tripes par la souffrance de l’autre. Il y a quelque chose dans l’éthique qui doit s’expérimenter dans les tripes, pas seulement dans l’abstraction. (01 :16 :55)

L’être humain n’est pas interchangeable (caractéristique #4)

On voit bien que le développement des drones est lié au fait que nous n’acceptons plus de perdre une personne. C’est évidemment légitime. Mais pourquoi ? On ne remplace pas une personne. On ne le dit pas assez souvent, mais dire qu’on remplace les combattants par une machine. Les machines, vous en changez. On peut s’attacher à une machine. En Afghanistan, on m’a raconté qu’une troupe américaine a refusé qu’on répare, qu’on lui change son robot de reconnaissance qui ne fonctionnait plus bien. Ils avaient tellement vécu avec ce robot de compagnie qu’ils ne voulaient pas qu’on le remplace. Moi, je ne voudrais pas qu’on m’enlève mon ours en peluche de ma jeunesse. Je m’y suis attaché. Mais, d’une certaine manière on pourrait me changer mon ours, cela ne ferait pas un problème gravissime, cela ne poserait pas un problème éthique central. Mais par contre dire que vous remplacez quelqu’un que vous aimez par un autre, votre enfant par un autre, on va vous donner un androïde, c’est la même chose. Les gens disent non. Cela veut bien dire que la machine n’est pas strictement la même que l’homme car justement, il y a dans la machine quelque chose d’universel. (01 :18 :17) La machine de Turing universelle, dit-on en informatique. On peut changer sur d’autres substrats. Et ca, les machines ne le peuvent pas. Il y a quelque chose qu’on ne peut pas utilement remplacer par une machine. L’humain a quelque chose d’irréductible. Mais vous allez dire que c’est trivial mais quand vous êtes dans un débat sur la question des machines, on vous dit que les machines feront la même chose que l’homme et seront comme les êtres humains. Je pense que le piège est de dire, l’écueil est de dire que l’on fera sans les machines. Non, il nous faudra de plus en plus de machines éventuellement avec beaucoup d’autonomie mais cela ne veut pas dire que les machines seront l’égal de l’homme à tout point de vue. Les gazelles courent beaucoup plus vite que nous. Ce n’est pas un problème gravissime. Je ne dois pas rêver de devenir comme une gazelle. Je peux utiliser une machine qui va beaucoup plus vite que moi. Ce n’est pas pour cela que je suis la machine et que la machine est moi. Il faut éviter ce genre de chose. Cela n’a l’air de rien mais cela joue un rôle central.

L’être humain prend ses responsabilités (caractéristique #5)

Les deux dernières caractéristiques de l’anthropologie qui permettraient de donner des clefs de penser l’interdiction de la mission de machine autonome dans le domaine de la sécurité et de la défense est que ultimement l’humain est un être qui prend ses responsabilités. Qu’est ce que cela veut dire « responsabilité ». En latin, « respondere » veut dire répondre.

En fait, l’être humain répond de ses actes. Devant des dilemmes, on pourrait dire, c’est le fameux problème du train dont les freins ont cassé. C’est un exemple que l’on reprend toujours et c’est même un test que l’on fait passer aux machines pour savoir ce qu’elles vont faire. Les freins ont lâché et on a la possibilité d’aiguiller le train sur deux voies. Sur une voie, il y a quatre jeunes plein d’avenir. Sur l’autre voie, il y a deux sdf alcooliques, repris de justice, méchants… Qu’allez-vous choisir ? Une personne normalement constituée ne va pas dire directement : je vais écraser telles personnes. Non. En fait, l’homme se trouve devant un dilemme. La machine même douée des meilleurs algorithmes ne parvient pas à faire mieux que l’homme. Et l’homme ne parvient pas à faire mieux que la machine. Nous sommes devant des cas d’indécidabilité avec de toute façon des catastrophes dans les deux cas. Peut-être nous n’avons pas quelque chose de moindre mal car dans les deux cas, les solutions sont très mauvaises. Celui qui rencontre ce problème doit se décider très vite. En fait, la différence entre l’homme et la machine c’est que si la machine fait quelque chose, jamais elle ne pourra répondre de ses actes et jamais, elle n’aura de problème moral. L’homme est le seul qui, dans une telle situation dire : je ne sais pas, je vais opter et prendre sur moi la responsabilité. Cet écart que l’on rencontre chez tous les décideurs économiques, militaires, les médecins, les juristes, … qui à un certain moment ne voient pas clair vont trancher. S’ils ne tranchent pas, c’est aussi la catastrophe. L’humain est celui qui peut prendre ses responsabilités, va trancher et répondre de ses actes. La machine, jamais, ne peut répondre de ses actes. C’est pour cela qu’on invente les personnalités morales avec des fonds d’indemnisation parce qu’on a un problème. S’il y a des victimes, qui va répondre de ce drame. On pourrait dire que la machine ne va pas complètement remplacer l’homme parce que l’homme est sujet de responsabilités.

L’être humain peut poser des actes libres (caractéristique #6)

Deuxièment, l’être humain est quelqu’un de responsable car il peut poser des actes libres et cette liberté est centrale. Or une machine est toujours, même si elle est autonome … c’est pour cela que je disais que les mots sont piégés quand on dit que la machine décide c’est en réalité un leurre. Dans le fond, même si la machine est apte à traiter de l’information, elle n’est jamais libre. La machine suit un certain nombre de protocoles et ne peut pas faire du totalement inédit ou si elle fait du pseudo inédit, c’est qu’elle tire au sort. Et cela, ce n’est pas ce que fait entièrement l’être humain.

L’être humain pose des actes à un certain moment en ne suivant pas de règles. Il est, pourrait-on dire, quelqu’un qui va toujours au delà des clôtures qui lui sont données. Rappelez-vous la pensée de Pascal : « l’homme passe infiniment l’homme ». Bergson, le grand philosophe français, dans son dernier livre, « Les deux sources », disait que ce qui caractérise l’homme et le fleuron de l’évolution est qu’il casse les sociétés closes et les morales closes. Ce qu’il voulait dire c’est que l’homme fait toujours, c’est de briser les clôtures dans lesquelles on l’a enfermé et dans lesquelles on essaie d’enfermer les idées. Dans les années trente il pensait au système totalitaire qui s’enferme dans une certaine représentation de son devenir et de ce qu’il est, dans ses propres fantasmes. (1 :24 :32)

Le fantasme du soldat augmenté, c’est : « je suis prisonnier de mes fantasmes de puissance et je définis moi-même ce qu’est ma puissance. » L’être humain est quelqu’un qui casse en permanence la clôture des systèmes non pas pour se désintégrer car aucun système ne peut entièrement lui convenir.

Vous êtes toujours plus que ce que vous êtes. Parfois je dis à mes étudiants d’écrire dans un petit carnet maintenant ce que vous êtes. Ecrivez la personne que je voudrais rencontrer, la profession que je voudrais faire, la maison que je voudrais habiter, … Trente après allez ouvrir la boite dans laquelle vous avez caché le carnet. Vous allez regarder quel était votre chevalier servant préféré, votre idéal masculin ou féminin, professionnel, … Qu’est-ce que c’est maintenant ? On découvre que nous ne savons jamais entièrement ce que nous sommes et c’est les autres qui nous révèlent à nous-mêmes. On sait ce qu’on est mais pas nécessairement totalement. C’est l’expérience que le professeur ou le conférencier fait en se demandant après son cours ou sa conférence s’il n’a pas énervé tout le monde ou s’il a été bon.

L’homme est un être qu’on ne peut pas enfermer dans un système parce que, quelque part aucune règle ne peut lui convenir. (1 :26 :30)

Conclusion

On pourrait se demander aujourd’hui s’il est légitime ou non d’utiliser des machines très autonomes pour remplacer l’homme dans les domaines cruciaux éventuellement un des domaines le plus cruciaux est de remplacer l’homme pour pouvoir tuer quelqu’un en situation de combat.

A cela je répondrai qu’il n’est pas légitime de confier à une machine autonome la possibilité de tuer car elle ne peut, premièrement, répondre ultimement de ce qu’elle a fait, et, deuxièmement, elle n’est capable d’appliquer des règles.

Or, aucun combattant raisonnable, conscient, responsable sur le terrain d’attaque ne peut être qu’un simple exécutant de règles. D’ailleurs, il y a dans le droit belge quelque chose qui permet au combattant de refuser un acte qui serait totalement immoral, contre sa conscience. Même un officier qui exécute sa mission n’est qu’un exécutant pur et simple des ordres. C’est quelqu’un qui va réaliser une mission en se rendant compte de ce qu’il fait.

Aucun magistrat n’est qu’un exécutant pur et simple du droit. Ce n’est pas une machine automatique à dire le droit. Ricœur disait que le magistrat est celui qui humanise le droit. C’est celui qui applique la règle mais en comprenant, humainement, comment on applique la règle.

Le soldat qui serait simplement un exécutant d’ordres serait simplement dangereux, même pour ses supérieurs. Quelqu’un qui exécute sans réfléchir est un homme qui est dangereux même dans le domaine militaire.

Un certain nombre de déclarations ont raison de dire qu’il faut éviter aujourd’hui d’aller dans la direction de robots totalement innovants qui auraient cette capacité de donner la mort. Parce que dans des domaines aussi importants, il y a quelque chose qui se perdrait de l’humanité si on faisait çà. On peut aller très loin dans l’utilisation de machines.

Technophobie ? Technophilie ?

Moi-même, je ne suis pas du tout technophobe mais ce que je crois c’est qu’il y a probablement une manière d’utiliser la technologie à haut niveau, d’augmenter l’homme juste dans certaines limites, de telle manière que les augmentations et la technologie soient toujours cohérents avec ce que l’homme est et la différence spécifique qu’il a entre lui et les machines. A cette condition, on peut intégrer la technologie. Mais si on entre dans une perspective où, progressivement, par idéologie ou par naïveté, on croit que l’homme va coller à la machine on risquerait de voir, à terme, les machines se retourner contre les humains.

Restaurer la place de l’homme

Le défi, aujourd’hui, c’est de restaurer la place de l’homme. Bien entendu, c’est quelque chose qui est compliqué car dans un monde qui est largement fragmenté, pluriculturel, multiconfessionnel, on pourrait avoir l’impression qu’on perd le fond de ce qui serait un universel humain. Peut-être qu’il y a moyen de retrouver une autre manière de poser le problème. C’est peut-être de dire que s’il y a un respect possible des diversités, des cultures, c’est qu’il y a la découverte d’un fond commun d’humanité.

Le fond commun de l’humanité

C’est parce que je prends conscience qu’il y a un fond commun d’humanité à toutes les personnes quelles que soient leurs différences, c’est pour cela que je suis capable de défendre les différences culturelles et les différences des minorités. Si je perdais ce fond, je ne serais plus capable de justifier la défense des différences culturelles, des minorités, parce que j’aurais perdu ce qui fait la conviction que l’autre doit être respecté. J’aurais fragmenté le monde, il n’y aurait plus d’universel, et il y aurait des parties de l’humanité qui seraient des sous-humanités qui n’appartiendraient plus à l’humanité. Retrouver ce qui fait le fond commun de l’humanité est une condition nécessaire pour le respect des différences. Et c’est une condition nécessaire pour gérer au mieux l’introduction de technologies de haut niveau dans des domaines cruciaux mais sans brimer l’être humain. Je suis conscient des limites de mon exposé à cet égard mais j’espère que j’aurai fait passer cette conviction d’humanité que j’ai et que nous partageons tous.

Je vous remercie.

Questions – Réponses (1 :32 :38)

Question #1

Q : A propos de l’intervention humaine. Vous avez évoqué la présence de robots ayant une autonomie totale sur la base d’une décision humaine. Est-ce, qu’à un moment donné, l’être humain pourrait avoir une intervention pour stopper une intervention préalablement donnée soit par lui-même soit pour autrui?

R : Il est prévu, par exemple, dans des drones de surveillance de certaines zones, dès que le GPS détecte que le drone quitte les zones prescrites, des processus automatiques permettent de stopper son action et l’oblige de rentrer à sa base ou de s’autodétruire. Dans les débats à l’ONU, certains ont fait remarquer qu’il serait nécessaire d’introduire des systèmes de neutralisation. C’est se qui fait partie de l’homme ON THE LOOP. On pourrait imaginer que dans le spatial ou dans le monde marin, une machine qui franchit un certain nombre d’obstacles qui sont interdits, des systèmes permettent l’autodestruction. C’est extrêmement important pour baliser. On pourrait dire que quand on ne peut pas télé-opérer facilement en spatial ou en milieu marin et si on admet l’autonomie, les systèmes d’autodestruction sont requis. Il ne faut pas oublier que la menace du piratage est réelle. On a eu des cas de drones qui ont été détournés. Il faut donc que les systèmes puissent s’autodétruire s’ils sont piratés.

Question #2

Q : La RTBF nous a annoncé que la centrale nucléaire de Tihange et d’autres en Europe ont été survolées par des drones. Donc, l’homme ne peut pas interférer ?

R : Non. Cela montre que les systèmes de protection actuels ne sont pas encore assez performants. J’ai assisté, à Paris, à une confrontation entre deux équipes d’ingénieurs. La première pilotait des drones et la seconde essayait de les pirater. La première équipe était persuadée qu’elle ne pouvait pas être piratée et le seconde a très vite pris le contrôle. Aujourd’hui, un des problèmes de ces systèmes est qu’il faut prévoir des tas de contremesures pour pouvoir intercepter ce genre de machines. On a, en France, des unités en bordure des champs d’aviation ont des oiseaux, des rapaces qui pourraient chasser des mini-drones.

Question #3

Q : Mais là, on est toujours dans l’espèce humaine par machine. On n’est pas dans Terminator.

R : On pourrait imaginer des systèmes de détection automatique des dangers tels que sur les bateaux ou dans la zone frontière entre les deux Corée. Cela pose des problèmes car il faut que dans la zone il n’y ait personne, un enfant en train de jouer, … Cela reste très compliqué mais il y a des systèmes anti-missiles sur les bateaux américains ou sur les bases qui permettent de répondre à des agressions par une détection radar et une réponse quasi automatisée. Le problème de ces systèmes-là, c’est qu’ils soient vraiment balisés dans des zones où on est sûr qu’il n’y a que des agents malveillants qui entrent. Il est donc prévu aujourd’hui de penser à cette protection-là. C’est un vrai problème de sécurité important.

Question #4

Q : Le rapport à l’intention ?

R : Une machine n’a pas d’intention. Or, dans tout acte juridique, la notion d’intention et la détection des intentions est une chose que la machine ne saurait pas facilement détecter. Moi, je peux poser des actes qui, extérieurement, sont bons et qui moralement, sont fatalement mauvais parce que mon intention était mauvaise. Est-ce qu’une machine pourra reconnaître çà ? Le juge pourra juger si c’est un homicide volontaire ou involontaire. L’intention est centrale.

La deuxième chose qui m’intéresse dans ce que vous avez dit qui me semble tout à fait pertinent. Un système formel engendre une sémantique et ne peut être compris que du point de vue de celui qui comprend pourquoi les actions ont été choisies. La machine est seulement un système axiomatique qui ne peut pas trouver à l’intérieur de son système algorithmique les justifications de ces principes. Autrement dit, le système formel ne peut pas lui-même trouver de façon univoque la sémantique qui justifie le choix de ses propres axiomes sinon, il y aurait une limitation interne. C’est d’ailleurs pour çà que certains disent quand on agit, on agit avec un certain sens. Quand je regarde quelque chose, je détecte du sens. Un système formel ne peut pas produire univoquement du sens.

Même un système formel peut éventuellement avoir une classe infiniment riche de modèle dans lequel les axiomes sont satisfaits. Cela veut dire qu’un système formel, de lui même, ne peut pas fixer son interprétation de façon univoque. Il y a aujourd’hui des gens qui pointent les limites des systèmes formels.

Les informaticiens connaissent bien le problème de l’arrêt. Turing avait montré qu’on ne peut pas avoir d’algorithmes prédisant si un programme d’ordinateur va s’arrêter si on lui donne des données. Est-ce que j’ai un algorithme qui me dit si le programme va s’arrêter ou boucler ? Turing a démontré qu’il n’existe pas d’algorithme général qui réponde à cette question.

Théorème de Rice. Toute question sur le comportement futur d’un algorithme est soit trivial soit non algorithmique. Cela veut dire que si vous essayez de tester l’algorithme d’un drone autonome de combat, est-ce que je suis sûr que si ce drone rencontre telle situation, tel environnement, il ne va pas dysfonctionner et faire quelque chose que je n’avais pas voulu ? On ne peut pas l’assurer. On ne peut pas garantir la fiabilité du système. Ce veut dire que si un système est trop complexe, on ne peut pas assurer la fiabilité. Donc, on ne peut pas lâcher dans la nature un système dont on ne serait pas absolument certain.

Ce n’est pas nouveau. Le 4^ème concile de Latran a interdit l’arbalète. Une des raisons est que si on tire de loin, avec le vent, la flèche risque d’aller vers un civil. L’arme n’est pas totalement fiable. On disait qu’on ne peut pas mettre sur le marché, une arme qui risquerait de tuer des non-combattants. C’est contraire aux lois de la guerre. Il y a quelque chose de çà dans les machines d’aujourd’hui. On ne peut jamais prouver de manière absolue qu’il n’y aura pas d’effet néfaste. Un des problèmes est d’assurer la fiabilité. Certaines ONG à l’ONU disent qu’on n’est pas certain du comportement de ces machines-là. Personne ne pourrait laisser sur la voie publique un animal dont on sait qu’il peut devenir dangereux. Idem pour ces machines. Le principe du droit de la guerre l’interdit. Dans tous les systèmes complexes, il y a quelque chose qui nécessite la médiation humaine.

Dans les systèmes de réponse anti-missile, il y a toujours un moment où un être humain doit prendre une décision de tir. C’est un maillon lent, limité mais on laisse toujours la possibilité à un humain de juger. C’est important pour les robots de combat mais c’est aussi vrai pour les robots financiers en trading électronique : un million de transactions à la seconde. Il faut à peu près une demi-minute pour les arrêter en cas de force majeure. A 20 € l’action peut entrainer des pertes colossales. Restaurer quelqu’un qui prend des décisions est même si l’humain est lent un gage de sécurité. Parfois, l’homme dans la gestion du trafic aérien, le maillon faible donne un gage de sécurité sinon le système s’emballe.

Question #5

A titre personnel, j’essaie d’œuvrer pour la paix. Ce que je constate, c’est qu’un certain nombre de nations ont intérêt à valoriser la paix. Ce qui fait les guerres, ce sont les intérêts financiers, l’accès aux ressources premières. La plupart des conflits, aujourd’hui, se trouvent dans des zones où il y a des points d’eau, des accès aux ressources naturelles. Finalement, la question est : Est-ce qu’on peut ramener la paix, oui ou non, car ce sont des problèmes de justice distributive, des problèmes économiques. Est-ce qu’on ne peut pas aller vers plus d’égalité dans la gestion des ressources ? Il y a beaucoup de conflits liés aux déplacés climatiques. Est-ce qu’on n’a pas un rôle à jouer dans les questions qui touchent à l’environnement ? Il faut œuvrer pour remettre la personne au centre en travaillant pour la justice, pour la préservation de l’environnement.

Question #6

Q : Produire des robots avec des algorithmes pacifistes ?

R : Des ingénieurs américains ont développé la notion de MORAL MACHINES. Des algorithmes qui seraient censés appliquer le droit et les règles d’engagement et les principes éthiques. Mais on s’est rendu compte que çà ne marche pas. Dans les années 50, il y a eu un débat pour vor si on pouvait remplacer la décision juridique par des processus logiques. On a démontré que le juge, ce n’est pas celui qui applique les procédures. C’est aussi celui qui dans sa rhétorique établit une relation entre les personnes.

Aujourd’hui, on revient à çà. Un ingénieur américain m’a dit : regardez ce qui s’est passé dans les conflits. Les êtres humains ont des sentiments de vengeance. Les américains sont traumatisés par l’événement de Milaï au Vietnam où une troupe est devenue folle et a exterminé tout le village. Il me disait que si on avait eu des robots, ils n’auraient jamais fait çà. C’est vrai qu’il y a des troupes qui disjonctent mais il a été constaté que la troupe de Milaï était dirigée par des officiers qui progressivement avaient abaissé le niveau des normes. Ils étaient fatigués, stressés et progressivement ils étaient arrivés à un point où tout était permis.

Par contre dans des unités où on avait des gens qui avaient été formés moralement, qui refusaient, par exemple, la torture comme en Algérie. L’avenir n’est pas de faire des machines morales mais c’est de former les décideurs en leur montrant que l’humain a une place et une valeur.

Question #7

Q : Est-ce l’armée qui a commandé ce type de recherches ?

R : Aujourd’hui, dans un certain nombre de forces armées européennes, les militaires de l’armée de terre, par exemple, ne sont pas très chauds à l’introduction de çà. En général, ce sont des combats urbains dans lesquels des robots seraient peut-être très inopérants. Ce sont des contextes tellement flous qu’un humain fait mieux qu’un robot. C’est vrai que dans ce cas-là, alors que l’on a vu que l’industrie militaire a eu des retombées civiles comme le radar, etc. Ici, c’est un peu l’inverse. Effectivement, il y a une technologie de l’IA, de la robotique plutôt civile qui se déverse et fait une pression. Il y a des intérêts économiques qui poussent à fournir ce genre de matériel. Je constate que ce n’est pas les militaires qui poussent à çà. Les militaires sont des gens qui sont formés à une certaine responsabilité. Ils savent bien que s’ils font des trucs, ils vont être épinglés. Ils ont une certaine éthique et ils sentent bien que ces machines-là ne vont pas être contrôlables. Le lien entre civils et militaires devrait être analysé finement.

Question #8

Q : Comment va t’on supprimer la créativité de la recherche ?

R : Dans les débats internationaux, on entend que si on supprime la recherche militaire sur les robots autonomes, vous n’allez plus voir de belles réussites pour la robotique civile et l’IA.

De prime abord, il n’y a pas d’argument mais un collègue chimiste m’a dit qu’on a interdit à l’ONU un certain nombre d’armes chimiques or, les composants pour faire ces armes chimiques sont utilisés pour faire des engrais, des pesticides, etc. Le fait d’avoir pris une interdiction radicale sur les armes chimiques n’a pas du tout empêché le développement des recherches dans ces produits-là mais çà a eu comme conséquence un contrôle accru de l’utilisation des produits. On pourrait imaginer aujourd’hui que l’on dise qu’interdire tel genre d’armes ne va pas bloquer la recherche mais cela va plutôt aiguillonner la recherche dans une autre direction en multipliant les capacités de contrôle sur ce qui pourrait servir à faire des applications néfastes. Je pense que parfois il y a des arguments qui seraient de dire de ne pas brimer la recherche militaire parce que demain vous aurez un bon aspirateur.

Moi, je dirais, même si ce n’est pas un bon argument, ne bloquez pas la recherche mais formez bien les chercheurs pour qu’ils soient capables de trouver des voies de recherche de pointe qui respecte la dignité de la personne. Je suis persuadé que l’on peut former de bons ingénieurs à une très bonne recherche de pointe dans la génomique, l’IA, en les formant en même temps dès la première année à un cadre moral.

Maintenant, il y a des recherches militaires légitimes pour se protéger. Il ne faut pas être naïf. Mais la formation de base des ingénieurs, des physiciens, des chimistes, des médecins, des juristes, doit s’accompagner dès les premiers moments d’une formation très puissante à l’éthique articulée à leur discipline.

Médiathèque