Le problème des rédactions le week-end, c’est qu’elles sont vides. Et que ceux qui sont de permanence ne sont pas nécessairement les plus compétents. C’est ainsi que l’information qui a fait la Une lors week-end de Pentecôte a été reprise par l’ensemble des médias de la planète, sans recul ni précaution aucune. Cette info faisait d’Eugène Goostman la première Intelligence Artificielle passant le test de Turing, c’est-à-dire bernant un humain lors d’une conversation sur son existence réelle.  Cette info est devenue, dans la bouche des média, l’information comme quoi une intelligence artificielle était née. La singularité était donc proche.

Le problème des rédactions le week-end, également dû à la pression exercée sur elles pour faire du scoop, c’est qu’elles valident assez rapidement les actus dites scientifiques, et sont friandes des prophéties auto-réalisatrices. C’est que l’innovation n’attend ni le fact checking, ni les contrepoints nécessaires à une information équilibrée (voir à ce sujet l’excellente série d’Olivier Ezratty sur les Propagandes de l’innovation).  Et l’IA est un très bon client, surtout dans la presse techno. Lors, comme le constate cet article de Techdirt qui a pointé ses errements, toute le presse techno, pure-player pour la plupart, a rendu compte de l’événement qui marquait le franchissement d’un palier. Il n’en était rien. Quoi que…

 

Au début du mois de mai, le physicien Stephen Hawking a questionné le monde sur l'intelligence artificielle. Prenant à témoin la sortie récente du film de science-fiction "Transcendance", il exprimait ses craintes quant à la perte de contrôle des humains dans un monde bientôt promis à Skynet.

" One can imagine such technology outsmarting financial markets, out-inventing human researchers, out-manipulating human leaders, and developing weapons we cannot even understand. Whereas the short-term impact of AI depends on who controls it, the long-term impact depends on whether it can be controlled at all. "

La démonstration est quelque peu vaseuse. D'abord parce que la plupart de ses exemples sont d'ores et déjà réalisés. Ensuite parce que parce Transcendance raconte l'histoire d'un esprit humain numérisé, donc très loin d’un HAL ou d’un WOPR. Mais le prétexte sonne bien, puisqu'il revient désormais à Hollywood de raconter des histoires pour s'y projeter.

Et aujourd'hui, Hollywood s'est emparé du sujet. Transcendance donc, le dernier flop de Johnny Depp. Mais aussi The Machine - qui évoque le langage des machines (le fameux IoT) - et Her amènent sur les écrans, et dans les conversations, des thèmes qu'aucun politique ne discute. Trop aventureux, trop futuriste, trop léger ? Il est vrai que dans la France des comités Théodule, il a fallu attendre 2011 pour le gouvernement se dote d’une commission éclairant le numérique, et 2014 pour que l'Assemblée Nationale lui  emboîte le pas. Pendant ce temps-là, l’administration Obama finance Brain, un projet visant à décrypter, cartographier et enregistrer le cerveau humain.

L'IA est aujourd'hui très largement fantasmée, car on lui prête une certaine magie que nous - humains - sommes les seuls à détenir : la conscience. Mais on ne peut que constater qu'une certaine forme d'intelligence est désormais à l'œuvre dans les systèmes automatisés qui nous servent. Et du service à l'asservissement, il n'y a qu'une légère frontière, qui s'appelle le contrôle. C'est en cela que le texte d'Hawking est pertinent. 

 

Skynet et les mini-moi

Les systèmes experts sont déployés à une large échelle grâce aux applications du web, et tendent à mieux connaitre l'utilisateur pour lui permettre une expérience unique. On la trouve à l'œuvre dans Google (avec l'auto complétion), Siri, Amazon ou Netflix. Si l'on isole le processus, l'intelligence déployée est une série d'algorithmes liés à une base de données qui "apprend" l'utilisateur.

Mais cet apprentissage, basé sur le mimétisme, peut faire en creux apparaître une "personnalité virtuelle", un avatar entièrement numérique pour chaque utilisateur. Un mini-moi. Et de voir alors une multitude de mini-moi chez Apple, Google, Meetic, Critéo et tant d'autres. La publicité pour Cortana, l'IA de Halo, le Siri de Microsoft, le dit explicitement : "I'm absorbing the Internet", "Now I'm learning about you".

La personnification de l'IA, dans Her ou dans Cortana, est l'une des pièces essentielles de la projection de l'IA. Dans l'épisode 1 de la Saison 2 de Black Mirror, Be right back, une app apprend des données publiques et privées d'un individu pour se l'approprier (la façon de parler, les souvenirs) jusqu'à devenir celui-ci. Cela sonne comme de la science-fiction, et pourtant, tous les ingrédient sont à disposition... 

 

En face de cette multitude de mini-moi, LA machine, Skynet, centralisée, que l'on imagine monstrueuse, de part ses capacités de calcul, d'archivage de données, et de périmètre de prise de décision. C'est le core des mini-moi sus-cités, mais c'est aussi Watson d'IBM, qui est capable de fournir des diagnostic médicaux, pour le moment limités à certaines spécialités. La médecine est un process relativement stable, basé sur des symptômes documentés, des diagnostics connus, et des traitements plus ou moins maitrisés; il n’y a donc aucun étonnement à voir des systèmes experts s’en emparer.

Une évolution de Watson s'appelle 'The Debater' et va plus loin que le seul diagnostic puisqu'elle est capable d'argumenter. En gros, non seulement d'afficher un résultat, mais d'en faire la démonstration. Le projet récemment présenté prenait comme exemple "Faut-il interdire l'avortement" ou "les jeux vidéos violents doivent-ils être interdits aux mineurs". Après un apprentissage de l'état de l'art humain – le scan de 4 millions d'entrées issues de Wikipedia – une voix synthétique (celle de Hal, de Siri, de Scarlett Johansson ?) énonce le pour, le contre. L'article cité ne précise pas si un choix est effectué, mais ce n'est in fine pas le plus compliqué à programmer.

En fait, c'est l'acte de décision traitant des humains qui est assez dérangeant dans le cas de la machine. Aujourd'hui, on a la possibilité d'inventer un monde de machines qui nous singent, et d'en être les Créateurs. Demain, de laisser notre libre arbitre à un ensemble d'algorithmes.

Science sans conscience

En théorie, vous ne pouvez plus avoir d'accident avec une Google Car. En supprimant le facteur humain, on élimine la quasi-totalité des causes des accidents de la route. C'est à la fois génial et terrifiant. Génial, parce qu'il n'y a plus à choisir entre boire et conduire. Terrifiant, parce que tout ce qui ne peut être modélisé ne peut être anticipé. Et il faudra bien que la machine qui contrôle prenne des décisions, et en cas d'accident, la moins mauvaise. La moins mauvaise pour qui ? Un article paru récemment dans Wired soulevait la question de l'éthique dans la programmation qui aboutit à des choix de la part de la machine. Dans l'exemple cité, le logiciel de la voiture autonome devait choisir entre heurter un conducteur de moto avec un casque et l'autre sans. Quel "réflexe", basé sur de la big data probabiliste de chocs mortels, doit prendre une machine ? Tuer le motard sans casque, qui n'avait aucune chance de survie ? Ou ne pas trop estropier le motard casqué, et laisser donc vivre le motard irresponsable car ne portant pas de casque ? Ce qui revient à cautionner les comportements hors la loi… La machine doit-elle alors apprécier ce qui est juste ? Ou rendre un verdict "zero tolérance" ?

Cette question d'éthique est tout sauf triviale. Elle renvoie bien évidemment aux 3 lois de la robotique d'Asimov (que l'on voit à l'oeuvre dans le bios de Robocop). Elle interroge également les militaires, lesquels veulent apprendre à la machine la différence entre le bien et le mal.  Car, dans la guerre automatisée que l’on nous promet, l’autonomie des robots à tuer est une question qui se discute jusqu’à l’ONU.

Agacé par ce qu’il nomme “Le complexe de Frankenstein” (la créature détruisant son créateur), l’auteur de science-fiction énonce un ensemble de lois, 3, puis 4, qui sont censées être l’ADN (ou le BIOS) du robot :

  • Loi Zéro : Un robot ne peut pas faire de mal à l'humanité, ni, par son inaction, permettre que l'humanité soit blessée.
  • Première Loi : Un robot ne peut porter atteinte à un être humain, ni, restant passif, permettre qu'un être humain soit exposé au danger, sauf contradiction avec la Loi Zéro.
  • Deuxième Loi : Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la Première Loi ou la Loi Zéro.
  • Troisième Loi : Un robot doit protéger son existence tant que cette protection n'entre pas en conflit avec la Première ou la Deuxième Loi ou la Loi Zéro.

 

Dans l’esprit d’Asimov, une machine reste une machine, et son émancipation, si elle est possible, ne repose que sur le bon vouloir de ses créateurs. Et comme l’homme ne peut déroger à ses propres codes, il appartient à l’homme créateur de donner un code fondamental à une machine.

 

L’Humain, cette machine très évoluée, et finalement si simple

Nous sommes régis par des codes. Intrinsèques, subordonnés à la génétique. Et extra, qui sont subordonnés à une sorte de magie (la Nature, les divinités monothéistes ou polythéistes) ou à la raison.
En créant le code, le notre, nous avons établi des règles fondamentales fondées sur une humanité. Ces règles ont cours depuis 3000 ans, et même si nous nous débarrassons petit à petit du fait religieux (la 1ere table de la Loi), le meurtre, le vol ou le faux témoignage (le mensonge, ou altération de la vérité) sont toujours bannis des sociétés modernes.

Nous avons inventé le langage machine, le code qui permet à la machine de traiter de l’information. La seconde phase, c’est d’inventer le langage des machines, celui, interopérable, qui permettra de donner du sens aux informations traitées, afin de les partager entre machines. (voir le dossier IoT des « Défis du CEA » de juin 2014, p. 18). Et donner du sens, c’est faire appréhender à la machine des compréhensions qui pour le moment la dépassent, basées sur des expériences (qu’elle mémorise), leur traitement (que l’on peut coder), et des ressentis, qui pour le moment lui sont totalement étrangers.

Pourtant, la psyché humaine est à portée de tir. Les fameux tests de Rorschach, censés apporter un complément dans le diagnostic des maladies mentales, sont finalement assez pauvres, puisque soumis à une grille de lecture faible et statique.  Il circule actuellement sur les RSS un test de personnalité, basé sur 4 questions, et qui a rencontré un fort succès (dans ma TL du moins). Comme la science des rêves où Freud n'imaginait qu'une seule expression des rêves, la sienne, ce test définit 16 types de personnalité pour l’être humain occidental. Les RH, les chasseurs de tête, disposent de ce genre de tests visant à profiler un candidat potentiel. Il s’agit de mettre un individu dans des cases, et somme toute, de le coder.

On sait, sur des principes simples, programmer une expression. C'est déjà le cas avec les robots-journalistes, qui passent leur temps à passer le test de Turing, nous apprend une étude citée par Slate. Article qui nous apprend également – ou confirme – que les algorithmes qui “créent” l’information ne sont pas neutres, puisque codés par des ingénieurs qui ne le sont pas également.

 

Le futur, c’est maintenant

Hawking craint une “technology outsmarting financial markets”. Cela existe, cela s’appelle le HFT. Les “out-inventing human researchers”, cela existe. Watson “travaille” déjà sur la recherche contre le cancer.  “Out-manipulating human leaders” ? Ca existe. N’importe quel gameplay de jeu freemium est programmé pour que le joueur paie. Et les bug des systèmes d’information nous montrent les possibilités de dérives…

 

Si le cas du “developing weapons we cannot even understand” prête à discussion, tous les exemples cités par Hawking le sont pour adresser une dérive consciente de la machine, dérive où l’intérêt de la machine prime sur celui des humains. Il y aurait donc un intérêt, ou une “liberté” de la machine, telle que le postule un professeur d’Harvard, qui énonce quant à lui une théorie de Maximum Causal Entropy Production Principle,“a conjecture that intelligent behavior in general spontaneously emerges from an agent’s effort to ensure its freedom of action in the future”. Et le chercheur de prendre le complexe de Frankenstein à l’envers : ce n’est pas parce que la Machine devient supra intelligente qu’elle veut contrôler le Monde (ou s’émanciper), c’est parce qu’elle cherche à se libérer qu’elle devient intelligente.

Il n’est bien évidemment pas question de science-fiction ici, mais bien d’anticipation. Combien de temps se passera-t-il entre le moment où la Machine décidera du bien ou du mal ? Où elle régulera nos vies ? La question est tout sauf triviale, car nous sommes en pleine actualité.

Il ne s’agit pas ici de machines conscientes, mais d’algorithmes qui décident à notre place. La technologie nous guide d’ores et déjà dans nos choix de consommation, ou d’expression. Nous pouvons d’ores et déjà leurrer la mémoire d’une souris en lui implantant de faux souvenirs. Nous pouvons leurrer l’humain en lui présentant une reproduction d’un enfant (dans le cadre d’un projet visant à identifier des pédophiles). Nous produisons des spectacles mettant en scène des chanteurs morts. Nous pouvons oblitérer des pans entiers de mémoire en bridant les moteurs de recherche ou les pointeurs vers l’information.

 

Il y a quelques années, dans un essai resté célèbre, Nicolas Carr a posé la question : “Est-ce que Google nous rend stupide?” L’objet de sa question portait sur la modification de notre cerveau qui nous rendait tributaire d’un algo de recherche de mémoire externe, et non plus des connaissances acquises par coeur lors d’un processus exclusivement humain. Cette question avait déjà eu des développements quelques siècles plus tôt, lorsque Montaigne et sa tête bien faite s’opposait à Rabelais et son abîme de science. L’article avait fait débat, mais posait la question sous-jacente de l’externalisation de la mémoire, et in fine, de son appropriation et de son accès.

 

Poser les bases d’Asimov pour garantir les libertés humaines

L’éthique, la morale, la justice sont des “codes” inconnus à la machine.  Avant de s’enthousiasmer pour le prochain Eugène Goostman (ou le craindre), il serait bon de pouvoir en contrôler le code. Car qui contrôle le code contrôle les machines. Et au-delà, qui détient le Futur ? Avant de pouvoir imaginer des lendemains enchanteurs, où la Machine, asservie, libèrera l’humain du travail aliénant, il serait intéressant de voir qui contrôle les robots ?

La question mérite d’être posée, dès lors que l’on voit arriver à grands pas de nouvelles plateformes d’échanges, permettant la mise en oeuvre de l’Internet des Objets, ou IoT. Les récentes annonces d’Apple ou de Google laissent entrevoir un futur où toutes les communications entre machines passeront par des plateformes opérées par de grands groupes privés. Ce contrôle intéresse également les Etats, notamment pour des motifs de sécurité. Ainsi, certains Etats européens réfléchissent à installer des dispositifs visant à prendre le contrôle de voitures à distance dans le cadre d’opérations policières.

D’ores et déjà, certains services publics peuvent être aisément remplacés par des plateformes d’application. En étant des « citoyens » de plateforme de communication (facebook, twitter, Instagram) nous en acceptons les CGU, et respectons la « loi ». Nous acceptons les lois morales d’Apple, Google, et d’autres entreprises qui décident, via le code, des informations que nous pouvons recevoir, celles dont nous pouvons nous souvenir, auxquelles nous pouvons accéder. Ou plus. 

La machine est infaillible. Elle ne "connait" ni le doute, ni la peur, ni la culpabilité. Elle n'a pas de raison, et encore moins de conscience. Elle travaille "mieux" et plus vite que l'humain, car elle ne "vit" pas au rythme circadien, n'a pas de défaillance liée à sa composition biologique. Elle ne "craint" ni la Main Invisible, ni aucun Dieu. La machine calcule. En théorie, elle ne pourrait même pas se tromper car une erreur signifierait sa fin. Or, ce sont justement les erreurs liées au code qui ont permis le développement de l’espèce humaine.  Laisser les humains dépendre de la Machine pourrait, comme le craignait Nicolas Car, nous transformer en machines.

Néanmoins, et pendant encore quelques temps, il serait intéressant de poser les bases et les limites du code qui nous contrôle, code qui exécute, code qui transmet, code qui code.

En attendant l’époque où l’expérimentation humaine sera systématiquement remplacée par la simulation informatique, il serait judicieux de se pencher sur le code qui autorise, qui régule, qui interdit, et pouvoir discuter de ses limites.

Ce qui doit être fait, c'est le contrôle des algorithmes. Toutes les choix nous impliquent et nous responsabilisent. Lorsque le choix est réduit à des propositions que l’on n’a plus le pouvoir de discuter, c’est le libre arbitre qui est menacé. Tant que nous sommes maîtres du code, il devrait être possible d’y avoir accès. Sans cela, nous deviendrons vite des esclaves de la Machine, qui, pour le moment, n’est qu’un auxiliaire de justice du propriétaire de son code.

Avant qu’HAL ait peur de mourir, que WOPR joue avec la vie de l’Humanité, ou que l’on puisse tomber amoureux de son OS, il faudrait que nous puissions avoir confiance dans l’artefact auquel nous externalisons nos fonctions cognitives.

[Edit du 2014-06-28 : une nouvelle de SF de 1909, The Machine Stops, d'E.M Foster (via Σνεηουϊιιε)]