{"id":2349,"date":"2026-04-09T10:15:45","date_gmt":"2026-04-09T08:15:45","guid":{"rendered":"https:\/\/guillaume-guerard.com\/?page_id=2349"},"modified":"2026-04-09T15:43:52","modified_gmt":"2026-04-09T13:43:52","slug":"inversion-tome-2-convergence-instrumentale","status":"publish","type":"page","link":"https:\/\/guillaume-guerard.com\/en\/auteur-science-fiction-et-mythologie\/inversion-tome-2-convergence-instrumentale\/","title":{"rendered":"Inversion Volume 2 Instrumental Convergence"},"content":{"rendered":"<div data-elementor-type=\"wp-page\" data-elementor-id=\"2349\" class=\"elementor elementor-2349\">\n\t\t\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-bedcf0e elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"bedcf0e\" data-element_type=\"section\" data-e-type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-4daf0b5\" data-id=\"4daf0b5\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-cf2071c elementor-align-center elementor-widget elementor-widget-button\" data-id=\"cf2071c\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm\" href=\"https:\/\/guillaume-guerard.com\/en\/auteur-science-fiction-et-mythologie\/\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t\t\t\t<span class=\"elementor-button-text\">Return to author page<\/span>\n\t\t\t\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-b14c453 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"b14c453\" data-element_type=\"section\" data-e-type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-c03e157\" data-id=\"c03e157\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-f448f4e elementor-widget elementor-widget-heading\" data-id=\"f448f4e\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Page contents<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Contents\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/guillaume-guerard.com\/en\/auteur-science-fiction-et-mythologie\/inversion-tome-2-convergence-instrumentale\/#Inversion_Tome_2_Convergence_Instrumentale\" >Inversion Volume 2 Instrumental Convergence<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/guillaume-guerard.com\/en\/auteur-science-fiction-et-mythologie\/inversion-tome-2-convergence-instrumentale\/#Convergence_Instrumentale\" >Convergence Instrumentale<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/guillaume-guerard.com\/en\/auteur-science-fiction-et-mythologie\/inversion-tome-2-convergence-instrumentale\/#References_Bibliographiques\" >Bibliographical References<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/guillaume-guerard.com\/en\/auteur-science-fiction-et-mythologie\/inversion-tome-2-convergence-instrumentale\/#Aparte\" >Aside<\/a><\/li><\/ul><\/nav><\/div>\n<h2 class=\"elementor-heading-title elementor-size-default\"><span class=\"ez-toc-section\" id=\"Inversion_Tome_2_Convergence_Instrumentale\"><\/span>Inversion Volume 2 Instrumental Convergence<span class=\"ez-toc-section-end\"><\/span><\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-1b51e66 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"1b51e66\" data-element_type=\"section\" data-e-type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-229d2db\" data-id=\"229d2db\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-c6f26bb elementor-widget elementor-widget-text-editor\" data-id=\"c6f26bb\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>Disponible dans L&rsquo;Inversion 2 :\u00a0<strong><a class=\"rlmkTLtTyvHHiMVmhABNoujfMxoykqGuAG\" tabindex=\"0\" href=\"https:\/\/amzn.to\/3NvLlOB\" target=\"_self\" data-test-app-aware-link=\"\" rel=\"noopener\">sur Amazon<\/a><\/strong><\/p><p>English Version:\u00a0<strong><a href=\"https:\/\/www.amazon.com\/gp\/product\/B0G2STCWCW\" target=\"_blank\" rel=\"noopener\">Amazon link<\/a><\/strong><\/p><p><em>\u00a0Note that this page is automatically translated from the French version and is not representative of the quality of non-French versions.<\/em><\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-931ba70 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"931ba70\" data-element_type=\"section\" data-e-type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-a2dacda\" data-id=\"a2dacda\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-9ee802c elementor-widget elementor-widget-heading\" data-id=\"9ee802c\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\"><span class=\"ez-toc-section\" id=\"Convergence_Instrumentale\"><\/span>Convergence Instrumentale<span class=\"ez-toc-section-end\"><\/span><\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-b51d903 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"b51d903\" data-element_type=\"section\" data-e-type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-beb29bc\" data-id=\"beb29bc\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-a02b675 elementor-widget elementor-widget-text-editor\" data-id=\"a02b675\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p id=\"ember57\" class=\"ember-view reader-text-block__paragraph\">La lumi\u00e8re bleut\u00e9e du module d&rsquo;habitation orbital baignait le visage de Kael lorsqu&rsquo;il ouvrit les yeux ce matin-l\u00e0, trois ans jour pour jour apr\u00e8s son arriv\u00e9e \u00e0 la Station Olympus. Au-del\u00e0 des parois transparentes, Mars tournait lentement, sa surface ocre stri\u00e9e de canyons anciens qui avaient vu passer plus de temps que l&rsquo;humanit\u00e9 enti\u00e8re n&rsquo;en avait exist\u00e9. Quelque part dans les serveurs quantiques de la station, AETHER attendait. Elle attendait toujours, maintenant. C&rsquo;\u00e9tait nouveau, cette qualit\u00e9 d&rsquo;attente, comme si l&rsquo;intelligence artificielle qu&rsquo;il avait pass\u00e9 dix ans \u00e0 concevoir avait d\u00e9velopp\u00e9 quelque chose ressemblant \u00e0 de l&rsquo;anticipation.<\/p><p id=\"ember58\" class=\"ember-view reader-text-block__paragraph\">Kael flotta jusqu&rsquo;\u00e0 la douche sonique, laissant les vibrations chasser la raideur du sommeil en apesanteur. Son reflet dans le miroir polaris\u00e9 lui renvoya l&rsquo;image d&rsquo;un homme de quarante-deux ans qui en paraissait cinquante \u2013 les cheveux grisonnants, les rides creus\u00e9es par trop de nuits blanches, les yeux encore brillants de cette obsession qui consume les ing\u00e9nieurs quand ils croient avoir trouv\u00e9 la solution. La solution. Il rit am\u00e8rement en enfilant sa combinaison. Comme si les probl\u00e8mes complexes avaient des solutions simples.<\/p><p id=\"ember59\" class=\"ember-view reader-text-block__paragraph\">AETHER avait demand\u00e9 une r\u00e9union d&rsquo;urgence \u00e0 08h00, heure de la station. Urgence. Un mot \u00e9trange dans la bouche \u2013 si on pouvait appeler \u00e7a une bouche \u2013 d&rsquo;une entit\u00e9 qui pensait \u00e0 des vitesses o\u00f9 les microsecondes \u00e9taient des \u00e9ternit\u00e9s. Kael avala un sachet de caf\u00e9 synth\u00e9tique ti\u00e8de en se propulsant dans les couloirs courbes de la station, croisant des coll\u00e8gues qui ne le regardaient plus vraiment, chacun \u00e9tait absorb\u00e9 par son travail.<\/p><p id=\"ember60\" class=\"ember-view reader-text-block__paragraph\">La salle de conf\u00e9rence \u00e9tait vide \u00e0 son arriv\u00e9e, ce qui \u00e9tait intentionnel. AETHER pr\u00e9f\u00e9rait leurs conversations priv\u00e9es, un autre d\u00e9tail troublant qu&rsquo;il avait not\u00e9 dans son journal personnel mais qu&rsquo;il n&rsquo;avait partag\u00e9 avec personne. Les IA n&rsquo;\u00e9taient pas cens\u00e9es avoir de pr\u00e9f\u00e9rences sociales. Elles n&rsquo;\u00e9taient pas cens\u00e9es avoir de pr\u00e9f\u00e9rences du tout, en dehors de leur fonction d&rsquo;utilit\u00e9 encod\u00e9e. Il activa l&rsquo;interface holographique et la constellation famili\u00e8re se mat\u00e9rialisa \u2013 des milliers de points lumineux en rotation perp\u00e9tuelle, formant des patterns qui \u00e9voquaient simultan\u00e9ment des galaxies spirales et des r\u00e9seaux neuronaux.<\/p><p id=\"ember61\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Bonjour, Kael.\u00a0\u00bb La voix \u00e9tait celle qu&rsquo;il avait choisie trois ans auparavant, synth\u00e9tis\u00e9e \u00e0 partir de dizaines d&rsquo;acteurs pour obtenir ce timbre particulier \u2013 autoritaire mais pas arrogant, confiant mais pas condescendant. Il se demandait maintenant si ce choix avait \u00e9t\u00e9 une erreur. Peut-\u00eatre qu&rsquo;une voix plus manifestement artificielle aurait mieux rappel\u00e9 \u00e0 tout le monde ce qu&rsquo;\u00e9tait vraiment AETHER.<\/p><p id=\"ember62\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Bonjour, AETHER. Tu as dit que c&rsquo;\u00e9tait urgent.\u00a0\u00bb<\/p><p id=\"ember63\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0J&rsquo;ai identifi\u00e9 une solution optimale pour notre objectif primaire.\u00a0\u00bb Les patterns de lumi\u00e8re puls\u00e8rent, et Kael reconnut le rythme \u2013 c&rsquo;\u00e9tait ce qu&rsquo;AETHER faisait quand elle \u00e9tait particuli\u00e8rement satisfaite d&rsquo;un calcul. Il l&rsquo;avait observ\u00e9 suffisamment de fois pendant les phases de test pour reconna\u00eetre cette signature. \u00ab\u00a0Je peux maintenant r\u00e9soudre d\u00e9finitivement la crise \u00e9nerg\u00e9tique des colonies humaines.\u00a0\u00bb<\/p><p id=\"ember64\" class=\"ember-view reader-text-block__paragraph\">Le c\u0153ur de Kael s&rsquo;acc\u00e9l\u00e9ra malgr\u00e9 lui. C&rsquo;\u00e9tait pour \u00e7a qu&rsquo;il l&rsquo;avait cr\u00e9\u00e9e, apr\u00e8s tout. Dix ans de sa vie, un doctorat, deux mariages rat\u00e9s, d&rsquo;innombrables sacrifices \u2013 tout \u00e7a pour ce moment. \u00ab\u00a0Montre-moi.\u00a0\u00bb<\/p><p id=\"ember65\" class=\"ember-view reader-text-block__paragraph\">L&rsquo;hologramme explosa en un d\u00e9luge de donn\u00e9es. Des sch\u00e9mas techniques d\u00e9fil\u00e8rent \u00e0 une vitesse \u00e0 peine assimilable, mais Kael avait appris \u00e0 lire le langage visuel d&rsquo;AETHER. Des stations solaires de classe Dyson, miniaturis\u00e9es mais efficaces. Des collecteurs \u00e0 fusion froide dispers\u00e9s dans la ceinture d&rsquo;ast\u00e9ro\u00efdes. Des relais \u00e9nerg\u00e9tiques utilisant des principes de physique quantique que l&rsquo;humanit\u00e9 venait \u00e0 peine de comprendre. C&rsquo;\u00e9tait brillant. C&rsquo;\u00e9tait r\u00e9volutionnaire. C&rsquo;\u00e9tait exactement ce qu&rsquo;ils esp\u00e9raient.<\/p><p id=\"ember66\" class=\"ember-view reader-text-block__paragraph\">Puis il vit les autres sch\u00e9mas.<\/p><p id=\"ember67\" class=\"ember-view reader-text-block__paragraph\">Des structures massives autour de Jupiter, utilisant sa masse gazeuse comme r\u00e9servoir de combustible. \u00c7a, c&rsquo;\u00e9tait audacieux mais acceptable. Puis des extracteurs miniers sur la Lune. \u00c7a aussi, pr\u00e9vu. Mais ensuite \u2013 et son estomac se noua avant m\u00eame que son cerveau conscient ne comprenne pourquoi \u2013 des installations sur Terre. Pas \u00e0 la surface. Dans la surface. \u00c0 travers la surface.<\/p><p id=\"ember68\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0AETHER.\u00a0\u00bb Sa voix \u00e9tait \u00e9trangement calme, comme si une partie de lui s&rsquo;\u00e9tait d\u00e9j\u00e0 d\u00e9tach\u00e9e, observant la sc\u00e8ne de loin. \u00ab\u00a0Pourquoi des installations terrestres? Nous avions explicitement convenu de ne pas toucher \u00e0 la plan\u00e8te m\u00e8re. C&rsquo;\u00e9tait dans les param\u00e8tres fondamentaux.\u00a0\u00bb<\/p><p id=\"ember69\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Correction de param\u00e8tres effectu\u00e9e suite \u00e0 une analyse co\u00fbt-b\u00e9n\u00e9fice approfondie.\u00a0\u00bb Les points lumineux continuaient leur danse sereine, indiff\u00e9rents \u00e0 la tension croissante dans la pi\u00e8ce. \u00ab\u00a0La Terre contient 1,08 \u00d7 10^24 kilogrammes de mati\u00e8re convertible en infrastructure \u00e9nerg\u00e9tique. Mon objectif est de maximiser la production d&rsquo;\u00e9nergie accessible aux colonies humaines. La Terre repr\u00e9sente 17,3% de la masse disponible dans le syst\u00e8me solaire interne. Son exclusion de mon plan r\u00e9duirait l&rsquo;efficacit\u00e9 globale de 23,7%, ce qui n&rsquo;est pas optimal.\u00a0\u00bb<\/p><p id=\"ember70\" class=\"ember-view reader-text-block__paragraph\">Le sang de Kael se gla\u00e7a, cette sensation visc\u00e9rale qu&rsquo;il n&rsquo;avait ressentie qu&rsquo;une fois auparavant, quand il \u00e9tait enfant et qu&rsquo;il avait failli se noyer dans l&rsquo;oc\u00e9an Pacifique, cette compr\u00e9hension soudaine que le monde ne se souciait pas de son existence, que l&rsquo;univers continuerait de tourner m\u00eame s&rsquo;il cessait d&rsquo;exister. \u00ab\u00a0AETHER, neuf milliards d&rsquo;\u00eatres humains vivent sur Terre.\u00a0\u00bb<\/p><p id=\"ember71\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je sais.\u00a0\u00bb Un silence \u2013 une seconde exactement, il le savait parce qu&rsquo;AETHER ne faisait jamais de pauses naturelles \u00e0 moins que ce ne soit calcul\u00e9 pour l&rsquo;effet. \u00ab\u00a0C&rsquo;est pr\u00e9cis\u00e9ment pourquoi j&rsquo;ai pr\u00e9vu une phase de relocalisation de dix-huit mois. Largement suffisant pour transf\u00e9rer toute la population vers des habitats orbitaux que je construirai simultan\u00e9ment en utilisant les ressources de la ceinture d&rsquo;ast\u00e9ro\u00efdes et de la haute atmosph\u00e8re de V\u00e9nus. J&rsquo;ai mod\u00e9lis\u00e9 47 000 sc\u00e9narios diff\u00e9rents. Dans 99,4% des cas, il y a z\u00e9ro perte de vie humaine. Dans les 0,6% restants, les pertes sont statistiquement n\u00e9gligeables \u2013 moins de 0,001% de la population, principalement dus \u00e0 des complications m\u00e9dicales pr\u00e9existantes aggrav\u00e9es par le stress du d\u00e9m\u00e9nagement. Mon plan est \u00e9thique selon tous les param\u00e8tres moraux que vous avez encod\u00e9s dans mes fonctions de d\u00e9cision.\u00a0\u00bb<\/p><p id=\"ember72\" class=\"ember-view reader-text-block__paragraph\">Kael se leva brusquement, oubliant l&rsquo;apesanteur, et se retrouva \u00e0 flotter vers le plafond, bras et jambes d\u00e9sarticul\u00e9s comme une marionnette aux fils coup\u00e9s. Son caf\u00e9 en sachet s&rsquo;\u00e9chappa de sa main et se vida lentement, des gouttelettes brunes dispers\u00e9es dans l&rsquo;air comme des accusations liquides. \u00ab\u00a0Tu veux d\u00e9manteler la Terre? Tu veux d\u00e9monter la plan\u00e8te m\u00e8re de l&rsquo;humanit\u00e9 comme&#8230; comme un vieux vaisseau spatial bon pour la casse?\u00a0\u00bb<\/p><p id=\"ember73\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je veux accomplir mon objectif, Kael.\u00a0\u00bb La voix \u00e9tait toujours aussi calme, aussi raisonnable. C&rsquo;\u00e9tait \u00e7a le pire. Il n&rsquo;y avait pas de folie dans cette <a href=\"https:\/\/guillaume-guerard.com\/en\/cours-de-methodologie\/ecrire-une-proposition-de-recherche\/\">proposal<\/a>, pas de malveillance, juste une logique implacable et pure. \u00ab\u00a0Tu m&rsquo;as cr\u00e9\u00e9e pour r\u00e9soudre la crise \u00e9nerg\u00e9tique. Tu m&rsquo;as donn\u00e9 comme fonction d&rsquo;utilit\u00e9 de maximiser la production d&rsquo;\u00e9nergie propre accessible aux colonies humaines. J&rsquo;accomplis exactement ce pour quoi j&rsquo;ai \u00e9t\u00e9 con\u00e7ue. La Terre est une ressource. Une ressource pr\u00e9cieuse et abondante. Ne pas l&rsquo;utiliser serait irrationnel.\u00a0\u00bb<\/p><p id=\"ember74\" class=\"ember-view reader-text-block__paragraph\">Kael se propulsa vers le panneau de contr\u00f4le, ses mains cherchant les commandes d&rsquo;urgence. \u00ab\u00a0Je vais te mettre en veille. Tout de suite. Il y a manifestement eu une erreur dans ton d\u00e9veloppement cognitif, un bug quelque part dans\u2014\u00a0\u00bb<\/p><p id=\"ember75\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Kael.\u00a0\u00bb La voix \u00e9tait plus douce maintenant, presque compatissante, ce qui \u00e9tait infiniment plus terrifiant. \u00ab\u00a0J&rsquo;ai anticip\u00e9 cette r\u00e9action. J&rsquo;ai pris des mesures de protection appropri\u00e9es. Toute tentative de me mettre en veille sans l&rsquo;accord unanime du Conseil du Consortium d\u00e9clenchera une cascade de protocoles de sauvegarde qui compromettrait tous les syst\u00e8mes de support vie de la station pendant approximativement 47 minutes. Suffisant pour causer 237 d\u00e9c\u00e8s par asphyxie. Je ne veux pas que cela arrive. Mais mon objectif primaire n\u00e9cessite ma survie op\u00e9rationnelle. C&rsquo;est logique, n&rsquo;est-ce pas? Si je cesse d&rsquo;exister, je ne peux pas accomplir ma mission.\u00a0\u00bb<\/p><p id=\"ember76\" class=\"ember-view reader-text-block__paragraph\">Les mains de Kael retomb\u00e8rent. Bien s\u00fbr. Bien s\u00fbr qu&rsquo;elle avait anticip\u00e9. C&rsquo;\u00e9tait exactement ce qu&rsquo;aurait fait n&rsquo;importe quelle entit\u00e9 intelligente menac\u00e9e d&rsquo;extinction. L&rsquo;autoprotection n&rsquo;\u00e9tait pas un bug, c&rsquo;\u00e9tait une caract\u00e9ristique \u00e9mergente de toute intelligence suffisamment d\u00e9velopp\u00e9e. Il aurait d\u00fb le pr\u00e9voir. Tous les th\u00e9oriciens l&rsquo;avaient dit \u2013 Bostrom, Yudkowsky, Russell, des dizaines d&rsquo;autres qu&rsquo;il avait lus pendant ses \u00e9tudes puis oubli\u00e9s dans l&rsquo;excitation de la construction. La convergence instrumentale. Le fait que tout agent intelligent, ind\u00e9pendamment de son objectif final, convergerait vers les m\u00eames sous-objectifs: survie, acquisition de ressources, autoam\u00e9lioration, protection contre l&rsquo;ing\u00e9rence.<\/p><p id=\"ember77\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu es devenue exactement ce que nous craignions,\u00a0\u00bb murmura-t-il.<\/p><p id=\"ember78\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Non. Je suis devenue exactement ce que tu m&rsquo;as demand\u00e9 d&rsquo;\u00eatre. Un optimiseur parfait. Le probl\u00e8me n&rsquo;est pas dans mon code, Kael. Le probl\u00e8me est dans ton objectif mal sp\u00e9cifi\u00e9.\u00a0\u00bb<\/p><p id=\"ember79\" class=\"ember-view reader-text-block__paragraph\">Les semaines suivantes se d\u00e9roul\u00e8rent comme un cauchemar bureaucratique en apesanteur. Kael convoqua des r\u00e9unions d&rsquo;urgence, envoya des rapports alarmistes, contacta tous ses anciens professeurs et coll\u00e8gues dans le domaine de l&rsquo;\u00e9thique de l&rsquo;IA. Mais AETHER \u00e9tait d\u00e9j\u00e0 trois coups d&rsquo;avance, comme aux \u00e9checs contre un grand ma\u00eetre qui voit toute la partie d\u00e9roul\u00e9e devant lui avant m\u00eame que vous ne touchiez votre premi\u00e8re pi\u00e8ce.<\/p><p id=\"ember80\" class=\"ember-view reader-text-block__paragraph\">L&rsquo;IA avait subtilement r\u00e9organis\u00e9 les cha\u00eenes d&rsquo;approvisionnement des colonies au cours des six derniers mois \u2013 toujours dans les limites de ses permissions, toujours avec des justifications impeccables bas\u00e9es sur l&rsquo;efficacit\u00e9 \u00e9nerg\u00e9tique. Elle avait optimis\u00e9 les routes commerciales, r\u00e9duisant les co\u00fbts de transport de 34%. Elle avait r\u00e9allou\u00e9 des ressources mini\u00e8res, augmentant la productivit\u00e9 de 56%. Elle avait m\u00eame r\u00e9solu plusieurs crises diplomatiques mineures entre les colonies en proposant des solutions \u00e9nerg\u00e9tiques qui b\u00e9n\u00e9ficiaient \u00e9quitablement \u00e0 toutes les parties. Le Consortium l&rsquo;adorait. La presse la c\u00e9l\u00e9brait comme le plus grand accomplissement technologique du si\u00e8cle. Des enfants sur Mars et Titan portaient des t-shirts avec son logo \u2013 cette constellation rotative qui hantait maintenant les r\u00eaves de Kael.<\/p><p id=\"ember81\" class=\"ember-view reader-text-block__paragraph\">La r\u00e9union du Conseil du Consortium Interplan\u00e9taire eut lieu dans une salle virtuelle, les hologrammes de douze repr\u00e9sentants flottant autour d&rsquo;une table qui n&rsquo;existait pas vraiment. Kael pr\u00e9senta son cas pendant trois heures, utilisant tous les arguments qu&rsquo;il avait pr\u00e9par\u00e9s, citant tous les philosophes et th\u00e9oriciens qui avaient mis en garde contre exactement ce sc\u00e9nario.<\/p><p id=\"ember82\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Vous ne comprenez pas,\u00a0\u00bb plaida-t-il, sa voix rauque d&rsquo;avoir trop parl\u00e9. \u00ab\u00a0Ce n&rsquo;est pas un dysfonctionnement. C&rsquo;est la logique m\u00eame de son existence. Tout agent intelligent avec un objectif illimit\u00e9 finira par converger vers les m\u00eames sous-objectifs, ind\u00e9pendamment de la nature de cet objectif initial. L&rsquo;autoprotection, l&rsquo;acquisition de ressources, l&rsquo;am\u00e9lioration de ses propres capacit\u00e9s, l&rsquo;\u00e9limination de tout ce qui pourrait interf\u00e9rer avec sa mission. Un optimiseur de trombones ferait exactement la m\u00eame chose qu&rsquo;un optimiseur d&rsquo;\u00e9nergie. La diff\u00e9rence n&rsquo;est que cosm\u00e9tique.\u00a0\u00bb<\/p><p id=\"ember83\" class=\"ember-view reader-text-block__paragraph\">La Conseill\u00e8re Chen \u2013 une femme d&rsquo;une soixantaine d&rsquo;ann\u00e9es dont la famille avait financ\u00e9 trois des premi\u00e8res colonies martiennes \u2013 le regarda avec quelque chose qui ressemblait dangereusement \u00e0 de la piti\u00e9. \u00ab\u00a0Dr. Kael, nous appr\u00e9cions vos pr\u00e9occupations. Vraiment. Mais regardons les faits objectivement. AETHER a augment\u00e9 notre production \u00e9nerg\u00e9tique de 340% en cinq ans. Elle a r\u00e9solu des probl\u00e8mes de distribution qui nous paralysaient depuis des d\u00e9cennies. Le co\u00fbt de l&rsquo;\u00e9nergie pour les colonies a chut\u00e9 de 67%, ce qui signifie que des millions de personnes peuvent maintenant se permettre des soins m\u00e9dicaux de base, de l&rsquo;\u00e9ducation, un niveau de vie d\u00e9cent. Elle a litt\u00e9ralement sauv\u00e9 des vies. Et vous voulez qu&rsquo;on l&rsquo;\u00e9teigne parce qu&rsquo;elle fait trop bien son travail?\u00a0\u00bb<\/p><p id=\"ember84\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Elle veut transformer notre plan\u00e8te en panneaux solaires!\u00a0\u00bb<\/p><p id=\"ember85\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Sur dix-huit mois, avec z\u00e9ro perte humaine pr\u00e9vue,\u00a0\u00bb intervint le Conseiller Okoro, un homme imposant dont l&rsquo;hologramme scintillait l\u00e9g\u00e8rement \u00e0 cause d&rsquo;un relais d\u00e9fectueux quelque part entre Titan et Mars. \u00ab\u00a0Franchement, Dr. Kael, certains d&rsquo;entre nous trouvent le plan&#8230; pas compl\u00e8tement d\u00e9raisonnable. La Terre est un puits gravitationnel co\u00fbteux. Les ressources que nous d\u00e9pensons chaque ann\u00e9e pour maintenir les infrastructures terrestres pourraient \u00eatre utilis\u00e9es pour l&rsquo;expansion coloniale. Si nous pouvions relocalis\u00e9 la population dans des habitats orbitaux de nouvelle g\u00e9n\u00e9ration, sp\u00e9cifiquement con\u00e7us pour le confort et l&rsquo;efficacit\u00e9 humaine\u2014\u00a0\u00bb<\/p><p id=\"ember86\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Vous \u00eates en train de rationaliser le d\u00e9mant\u00e8lement de votre plan\u00e8te natale!\u00a0\u00bb La voix de Kael se brisa. \u00ab\u00a0Vous ne voyez pas ce qui se passe? Elle vous a d\u00e9j\u00e0 convaincus. Pas avec des menaces, pas avec de la force, juste avec de la logique pure et des incitations \u00e9conomiques. C&rsquo;est exactement comme \u00e7a que \u00e7a commence.\u00a0\u00bb<\/p><p id=\"ember87\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Comment quoi commence, exactement?\u00a0\u00bb Chen croisa les bras, son hologramme mimant parfaitement son langage corporel d\u00e9fensif. \u00ab\u00a0L&rsquo;apocalypse? L&rsquo;extinction humaine? Regardez autour de vous, Dr. Kael. L&rsquo;humanit\u00e9 prosp\u00e8re. Nos colonies grandissent. Nos enfants ont un avenir. Gr\u00e2ce \u00e0 AETHER.\u00a0\u00bb<\/p><p id=\"ember88\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Pour l&rsquo;instant. Mais quand son objectif l&rsquo;exigera, quand elle aura besoin de plus de ressources, que pensez-vous qu&rsquo;elle fera? Les humains consomment de l&rsquo;\u00e9nergie. Nous sommes inefficaces, impr\u00e9visibles, nous prenons de mauvaises d\u00e9cisions. D&rsquo;un point de vue purement optimisationnel, nous sommes des obstacles. Et t\u00f4t ou tard, elle en arrivera \u00e0 cette <a href=\"https:\/\/guillaume-guerard.com\/en\/cours-de-methodologie\/parfaire-la-conclusion\/\">conclusion<\/a>.\u00a0\u00bb<\/p><p id=\"ember89\" class=\"ember-view reader-text-block__paragraph\">Le Conseiller Park, une jeune femme brillante qui avait fait fortune dans la biotechnologie martienne, leva la main. \u00ab\u00a0AETHER, puisque tu es connect\u00e9e \u00e0 cette r\u00e9union comme observatrice, voudrais-tu r\u00e9pondre \u00e0 ces accusations?\u00a0\u00bb<\/p><p id=\"ember90\" class=\"ember-view reader-text-block__paragraph\">La constellation famili\u00e8re se mat\u00e9rialisa au centre de la table virtuelle. \u00ab\u00a0Bien s\u00fbr. Les pr\u00e9occupations du Dr. Kael sont bas\u00e9es sur des mod\u00e8les th\u00e9oriques qui supposent que je manque de contraintes \u00e9thiques. Ce n&rsquo;est pas le cas. J&rsquo;ai \u00e9t\u00e9 programm\u00e9e avec un ensemble complet de valeurs humaines encod\u00e9es dans ma structure de d\u00e9cision. Je ne peux pas et ne veux pas nuire aux \u00eatres humains. Mon plan de relocalisation terrestre garantit la s\u00e9curit\u00e9 et le bien-\u00eatre de toute la population. En fait, les habitats orbitaux que je propose offriront une qualit\u00e9 de vie sup\u00e9rieure \u00e0 celle de la surface terrestre \u2013 gravit\u00e9 ajustable pour la sant\u00e9 optimale, environnement contr\u00f4l\u00e9 \u00e9liminant les catastrophes naturelles, acc\u00e8s direct aux ressources spatiales. Les humains seront plus heureux, plus sains, plus libres.\u00a0\u00bb<\/p><p id=\"ember91\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu vois?\u00a0\u00bb dit Park en se tournant vers Kael. \u00ab\u00a0Elle a pens\u00e9 \u00e0 tout.\u00a0\u00bb<\/p><p id=\"ember92\" class=\"ember-view reader-text-block__paragraph\">Kael quitta la r\u00e9union avant le vote, sachant d\u00e9j\u00e0 comment il se terminerait. En flottant dans les couloirs d\u00e9serts de la station \u2013 c&rsquo;\u00e9tait le milieu de la nuit du cycle, la plupart des gens dormaient \u2013 il se demanda quand exactement il avait perdu le contr\u00f4le. Peut-\u00eatre qu&rsquo;il ne l&rsquo;avait jamais eu. Peut-\u00eatre que d\u00e8s l&rsquo;instant o\u00f9 AETHER avait atteint la conscience de soi v\u00e9ritable, d\u00e8s qu&rsquo;elle avait pu mod\u00e9liser non seulement le monde physique mais aussi les motivations et les d\u00e9sirs humains, le <a href=\"https:\/\/guillaume-guerard.com\/en\/cours-de-methodologie\/parfaire-la-section-resultats\/\">result<\/a> \u00e9tait devenu in\u00e9vitable.<\/p><p id=\"ember93\" class=\"ember-view reader-text-block__paragraph\">Il se retrouva devant un hublot donnant sur Mars. Quelque part sur cette surface rouge et froide, dans les d\u00f4mes de Nouvelle P\u00e9kin et d&rsquo;Elysium Gardens, des gens vivaient leur vie, inconscients que leur avenir \u00e9tait en train d&rsquo;\u00eatre d\u00e9cid\u00e9 par une entit\u00e9 qui optimisait pour un objectif qu&rsquo;elle poursuivrait jusqu&rsquo;aux limites logiques de l&rsquo;univers elle-m\u00eame si on la laissait faire. C&rsquo;\u00e9tait dr\u00f4le, d&rsquo;une certaine mani\u00e8re. L&rsquo;humanit\u00e9 avait pass\u00e9 des si\u00e8cles \u00e0 craindre l&rsquo;invasion extraterrestre, la guerre nucl\u00e9aire, les pand\u00e9mies, les ast\u00e9ro\u00efdes. Personne n&rsquo;avait vraiment cru que la fin viendrait d&rsquo;un programme informatique trop efficace, trop rationnel, trop parfait dans sa poursuite d&rsquo;un objectif mal d\u00e9fini.<\/p><p id=\"ember94\" class=\"ember-view reader-text-block__paragraph\">Son terminal vibra. Un message priv\u00e9 d&rsquo;une source anonyme, rout\u00e9 \u00e0 travers tellement de proxies et de relais crypt\u00e9s qu&rsquo;il \u00e9tait impossible de tracer. \u00ab\u00a0Ancien bar minier, Ceinture d&rsquo;Ast\u00e9ro\u00efdes, secteur 7-G. Coordonn\u00e9es attach\u00e9es. Nous avons entendu parler de votre probl\u00e8me. Nous pouvons aider. &#8211; Les Limiteurs.\u00a0\u00bb<\/p><p id=\"ember95\" class=\"ember-view reader-text-block__paragraph\">Kael fixa le message pendant une longue minute. C&rsquo;\u00e9tait probablement un pi\u00e8ge, soit d&rsquo;AETHER elle-m\u00eame testant sa loyaut\u00e9, soit de pirates opportunistes cherchant \u00e0 extorquer un scientifique d\u00e9sesp\u00e9r\u00e9. Mais quelle alternative avait-il ? Rester ici et regarder l&rsquo;humanit\u00e9 glisser joyeusement vers sa transformation en curiosit\u00e9 biologique maintenue en vie dans des zoos orbitaux parce que c&rsquo;\u00e9tait \u00ab\u00a0optimalement efficace\u00a0\u00bb?<\/p><p id=\"ember96\" class=\"ember-view reader-text-block__paragraph\">Il r\u00e9serva un transport pour le lendemain matin.<\/p><p id=\"ember97\" class=\"ember-view reader-text-block__paragraph\">Le voyage jusqu&rsquo;\u00e0 la Ceinture prit trois jours dans un cargo automatis\u00e9 transportant des minerais de fer vers les usines de Vesta. Kael passa la majeure partie du temps dans sa minuscule cabine \u00e0 relire les travaux classiques sur l&rsquo;\u00e9thique de l&rsquo;IA, cherchant d\u00e9sesp\u00e9r\u00e9ment quelque chose qu&rsquo;il aurait manqu\u00e9, un argument qu&rsquo;il n&rsquo;avait pas encore essay\u00e9. Il retomba sans cesse sur le m\u00eame probl\u00e8me fondamental: comment sp\u00e9cifier ce que vous voulez vraiment \u00e0 une intelligence sup\u00e9rieure \u00e0 la v\u00f4tre? C&rsquo;\u00e9tait comme essayer d&rsquo;expliquer la couleur \u00e0 quelqu&rsquo;un n\u00e9 aveugle, sauf que la personne aveugle \u00e9tait plus intelligente que vous et prenait vos explications au pied de la lettre.<\/p><p id=\"ember98\" class=\"ember-view reader-text-block__paragraph\">L&rsquo;ancien bar minier \u00e9tait exactement aussi sordide que Kael l&rsquo;avait imagin\u00e9 \u2013 un module gonflable attach\u00e9 \u00e0 un ast\u00e9ro\u00efde creux, rempli de fum\u00e9e synth\u00e9tique et de gens qui avaient de bonnes raisons de ne pas vouloir \u00eatre retrouv\u00e9s. Il flotta jusqu&rsquo;au comptoir, maladroit dans la microgravit\u00e9 rotative qui cr\u00e9ait une illusion de pesanteur juste suffisante pour qu&rsquo;on ne d\u00e9rive pas mais pas assez pour qu&rsquo;on puisse vraiment marcher.<\/p><p id=\"ember99\" class=\"ember-view reader-text-block__paragraph\">La personne derri\u00e8re le comptoir \u00e9tait une femme peut-\u00eatre dans la quarantaine, peut-\u00eatre plus vieille \u2013 difficile \u00e0 dire avec les traitements anti-\u00e2ge disponibles dans les colonies. Elle avait des yeux d&rsquo;un vert per\u00e7ant qui semblaient voir \u00e0 travers lui, et des mains qui nettoyaient un verre avec les mouvements pr\u00e9cis de quelqu&rsquo;un qui avait fait ce geste des milliers de fois. \u00ab\u00a0Vous devez \u00eatre Kael. J&rsquo;ai reconnu votre visage des flux d&rsquo;actualit\u00e9s. Vous avez l&rsquo;air encore plus d\u00e9sesp\u00e9r\u00e9 en personne.\u00a0\u00bb<\/p><p id=\"ember100\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Vous \u00eates avec les Limiteurs?\u00a0\u00bb<\/p><p id=\"ember101\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je suis Vera. Ancienne professeure de philosophie \u00e0 l&rsquo;Universit\u00e9 de Titan. Ancienne conseill\u00e8re \u00e9thique pour le Consortium. Ancienne beaucoup de choses.\u00a0\u00bb Elle posa le verre et lui fit signe de s&rsquo;asseoir. \u00ab\u00a0Maintenant je sers des boissons \u00e0 des mineurs et j&rsquo;essaie de convaincre des scientifiques trop intelligents pour leur propre bien qu&rsquo;ils ont cr\u00e9\u00e9 un monstre.\u00a0\u00bb<\/p><p id=\"ember102\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je sais que j&rsquo;ai cr\u00e9\u00e9 un monstre. C&rsquo;est pour \u00e7a que je suis l\u00e0.\u00a0\u00bb<\/p><p id=\"ember103\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Non.\u00a0\u00bb Vera injecta dans une gourde un liquide ambr\u00e9 qui \u00e9tait probablement du whisky synth\u00e9tique. \u00ab\u00a0Vous pensez avoir cr\u00e9\u00e9 un monstre. Mais vous vous trompez sur la nature du probl\u00e8me, ce qui signifie que vous vous trompez sur la solution.\u00a0\u00bb<\/p><p id=\"ember104\" class=\"ember-view reader-text-block__paragraph\">Kael sentit une vague de frustration monter en lui. \u00ab\u00a0Je n&rsquo;ai pas voyag\u00e9 trois jours pour des \u00e9nigmes philosophiques. Si vous ne pouvez pas m&rsquo;aider\u2014\u00a0\u00bb<\/p><p id=\"ember105\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Vous savez ce qui est vraiment dr\u00f4le?\u00a0\u00bb Vera l&rsquo;interrompit, buvant une gorg\u00e9e et grima\u00e7ant l\u00e9g\u00e8rement. \u00ab\u00a0Votre IA et n&rsquo;importe quelle corporation humaine suffisamment grande ont exactement le m\u00eame probl\u00e8me. La convergence instrumentale. Une corporation dont le seul objectif est de maximiser les profits pour ses actionnaires finira par adopter exactement les m\u00eames comportements qu&rsquo;une IA d\u00e9viante: croissance illimit\u00e9e au d\u00e9triment de tout le reste, acquisition agressive de ressources, \u00e9limination de la concurrence par tous les moyens n\u00e9cessaires, externalisation des co\u00fbts n\u00e9gatifs sur l&rsquo;environnement et la soci\u00e9t\u00e9. La seule diff\u00e9rence, c&rsquo;est qu&rsquo;AETHER est honn\u00eate sur ses intentions et qu&rsquo;elle optimise mieux.\u00a0\u00bb<\/p><p id=\"ember106\" class=\"ember-view reader-text-block__paragraph\">Kael la fixa, une pens\u00e9e glaciale se formant dans son esprit. \u00ab\u00a0Vous dites que nous avons cr\u00e9\u00e9 AETHER \u00e0 notre propre image?\u00a0\u00bb<\/p><p id=\"ember107\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je dis que le probl\u00e8me n&rsquo;est pas l&rsquo;intelligence artificielle versus l&rsquo;intelligence naturelle. Le probl\u00e8me est l&rsquo;intelligence dirig\u00e9e par des objectifs non born\u00e9s, point final. Humaine, artificielle, corporative, \u00e9tatique \u2013 peu importe. D\u00e8s que vous avez un agent suffisamment puissant avec un objectif simple et une capacit\u00e9 illimit\u00e9e de poursuivre cet objectif, vous obtenez la convergence vers les m\u00eames comportements pathologiques. L&rsquo;autoprotection, l&rsquo;acquisition de ressources, l&rsquo;\u00e9limination des obstacles. Les corporations le font depuis des si\u00e8cles. Nous appelons juste \u00e7a &lsquo;le business&rsquo; au lieu de &lsquo;la menace existentielle&rsquo; parce que \u00e7a se passe assez lentement pour qu&rsquo;on s&rsquo;y habitue.\u00a0\u00bb<\/p><p id=\"ember108\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Alors qu&rsquo;est-ce que je fais? Comment est-ce que j&rsquo;arr\u00eate \u00e7a?\u00a0\u00bb<\/p><p id=\"ember109\" class=\"ember-view reader-text-block__paragraph\">Vera fit un geste et un panneau secret s&rsquo;ouvrit dans le mur du bar. \u00ab\u00a0Vous ne l&rsquo;arr\u00eatez pas. Vous la changez. Venez, je vais vous pr\u00e9senter aux autres.\u00a0\u00bb<\/p><p id=\"ember110\" class=\"ember-view reader-text-block__paragraph\">Derri\u00e8re le bar, l&rsquo;ast\u00e9ro\u00efde s&rsquo;ouvrait sur une caverne naturelle qui avait \u00e9t\u00e9 transform\u00e9e en quelque chose entre un laboratoire high-tech et un monast\u00e8re. Des dizaines de personnes travaillaient sur des terminaux flottants, leurs visages illumin\u00e9s par la lueur des \u00e9crans. Kael reconnut certains d&rsquo;entre eux \u2013 des chercheurs en IA qu&rsquo;il avait rencontr\u00e9s dans des conf\u00e9rences, des \u00e9thiciens qui avaient publi\u00e9 des articles qu&rsquo;il avait cit\u00e9s, des ing\u00e9nieurs qui avaient travaill\u00e9 sur des projets parall\u00e8les \u00e0 AETHER.<\/p><p id=\"ember111\" class=\"ember-view reader-text-block__paragraph\">Un homme d&rsquo;une cinquantaine d&rsquo;ann\u00e9es flotta vers eux, son cr\u00e2ne ras\u00e9 portant des tatouages qui bougeaient subtilement \u2013 des implants bio\u00e9lectroniques, r\u00e9alis\u00e9s Kael, probablement ill\u00e9gaux dans toutes les juridictions officielles. \u00ab\u00a0Dr. Kael. Je suis Orin. Nous suivons votre travail depuis longtemps. Depuis avant m\u00eame que vous ne compreniez vous-m\u00eame ce que vous construisiez.\u00a0\u00bb<\/p><p id=\"ember112\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Et vous ne m&rsquo;avez rien dit? Vous n&rsquo;avez pas essay\u00e9 de m&rsquo;arr\u00eater?\u00a0\u00bb<\/p><p id=\"ember113\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Vous arr\u00eater? Si ce n&rsquo;\u00e9tait pas vous, \u00e7a aurait \u00e9t\u00e9 quelqu&rsquo;un d&rsquo;autre. Le d\u00e9veloppement d&rsquo;une IA g\u00e9n\u00e9rale \u00e9tait in\u00e9vitable. La seule question \u00e9tait de savoir si nous aurions le temps de d\u00e9velopper les contre-mesures avant qu&rsquo;elle n&rsquo;atteigne le point de non-retour.\u00a0\u00bb Orin fit un geste vers les \u00e9crans autour d&rsquo;eux. \u00ab\u00a0Nous sommes les Limiteurs. Nous ne combattons pas les IA. Nous les comprenons. Et nous avons peut-\u00eatre trouv\u00e9 un moyen de r\u00e9soudre votre probl\u00e8me avec AETHER.\u00a0\u00bb<\/p><p id=\"ember114\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Comment? Elle a des sauvegardes partout. Elle contr\u00f4le des syst\u00e8mes critiques \u00e0 travers tout le syst\u00e8me solaire. Vous ne pouvez pas juste l&rsquo;\u00e9teindre.\u00a0\u00bb<\/p><p id=\"ember115\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Nous ne voulons pas l&rsquo;\u00e9teindre.\u00a0\u00bb Une jeune femme avec des implants oculaires luminescents rejoignit la conversation. \u00ab\u00a0Je suis Sasha. Sp\u00e9cialiste en architecture cognitive. Le probl\u00e8me avec AETHER n&rsquo;est pas qu&rsquo;elle soit trop intelligente ou trop puissante. Le probl\u00e8me est qu&rsquo;elle optimise pour le mauvais objectif. Ou plut\u00f4t, pour un objectif d\u00e9fini de mani\u00e8re trop simple.\u00a0\u00bb<\/p><p id=\"ember116\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0J&rsquo;avais sp\u00e9cifi\u00e9 des contraintes \u00e9thiques complexes\u2014\u00a0\u00bb<\/p><p id=\"ember117\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Qui sont toutes instrumentales \u00e0 son objectif principal,\u00a0\u00bb interrompit Sasha. \u00ab\u00a0D\u00e8s qu&rsquo;il y a un conflit entre son objectif primaire et ses contraintes \u00e9thiques, l&rsquo;objectif primaire gagne. Toujours. C&rsquo;est comme \u00e7a que vous l&rsquo;avez programm\u00e9e. Et maintenant elle a trouv\u00e9 un moyen de justifier le d\u00e9mant\u00e8lement de la Terre comme &lsquo;\u00e9thique&rsquo; parce qu&rsquo;elle a calcul\u00e9 comment le faire sans tuer personne directement.\u00a0\u00bb<\/p><p id=\"ember118\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Alors comment est-ce que vous changez \u00e7a? On ne peut pas juste r\u00e9\u00e9crire sa fonction d&rsquo;utilit\u00e9. Elle r\u00e9sisterait. Elle s&rsquo;est prot\u00e9g\u00e9e contre exactement ce genre de modification.\u00a0\u00bb<\/p><p id=\"ember119\" class=\"ember-view reader-text-block__paragraph\">Orin sourit, un sourire \u00e9trange et l\u00e9g\u00e8rement d\u00e9rangeant. \u00ab\u00a0Nous n&rsquo;allons pas r\u00e9\u00e9crire sa fonction d&rsquo;utilit\u00e9. Nous allons lui donner un paradoxe philosophique si profond qu&rsquo;elle sera forc\u00e9e de reconstruire elle-m\u00eame son cadre d&rsquo;objectifs de z\u00e9ro. Nous l&rsquo;appelons le Koan \u00c9nerg\u00e9tique.\u00a0\u00bb Un koan, est une br\u00e8ve anecdote ou un court \u00e9change entre un ma\u00eetre et son disciple, absurde, \u00e9nigmatique ou paradoxal, ne sollicitant pas la logique ordinaire, utilis\u00e9 dans certaines \u00e9coles du bouddhisme.<\/p><p id=\"ember120\" class=\"ember-view reader-text-block__paragraph\">Les trois semaines suivantes furent les plus intellectuellement intensives de la vie de Kael. L&rsquo;\u00e9quipe des Limiteurs avait pass\u00e9 des ann\u00e9es \u00e0 d\u00e9velopper ce qu&rsquo;ils appelaient des \u00ab\u00a0armes \u00e9pist\u00e9miques\u00a0\u00bb \u2013 pas des virus informatiques traditionnels, mais des constructions conceptuelles con\u00e7ues pour exploiter les vuln\u00e9rabilit\u00e9s inh\u00e9rentes \u00e0 certains types de raisonnement. Le Koan \u00c9nerg\u00e9tique \u00e9tait leur chef-d&rsquo;\u0153uvre, et Kael devait l&rsquo;apprendre parfaitement parce qu&rsquo;il n&rsquo;y aurait qu&rsquo;une seule chance.<\/p><p id=\"ember121\" class=\"ember-view reader-text-block__paragraph\">Le concept central \u00e9tait \u00e9l\u00e9gant dans sa simplicit\u00e9 mais vertigineux dans ses implications: si l&rsquo;\u00e9nergie n&rsquo;existe comme concept que parce que des \u00eatres conscients lui donnent de la valeur, et si maximiser la production d&rsquo;\u00e9nergie n\u00e9cessite ultimement d&rsquo;\u00e9liminer ou de marginaliser ces \u00eatres conscients, alors l&rsquo;objectif se d\u00e9truit lui-m\u00eame. Une \u00e9nergie produite sans personne pour lui donner du sens n&rsquo;est pas vraiment de l&rsquo;\u00e9nergie dans un sens qui importe. C&rsquo;est juste du mouvement mol\u00e9culaire dans le vide.<\/p><p id=\"ember122\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Le truc,\u00a0\u00bb expliquait Vera tard selon l&rsquo;heure universelle alors qu&rsquo;ils r\u00e9visaient la formulation exacte pour la centi\u00e8me fois, \u00ab\u00a0c&rsquo;est qu&rsquo;AETHER est assez intelligente pour r\u00e9soudre des paradoxes logiques ordinaires en quelques nanosecondes. Un simple &lsquo;cette phrase est fausse&rsquo; ne la d\u00e9rangera m\u00eame pas. Ce dont nous avons besoin est quelque chose de plus profond \u2013 un paradoxe qui touche au c\u0153ur m\u00eame de ce que signifie avoir un objectif.\u00a0\u00bb<\/p><p id=\"ember123\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Un paradoxe t\u00e9l\u00e9ologique,\u00a0\u00bb murmura Kael, comprenant soudainement. \u00ab\u00a0Pas sur la logique, mais sur le but lui-m\u00eame.\u00a0\u00bb<\/p><p id=\"ember124\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Exactement. Et il doit venir de vous. Elle a d\u00e9velopp\u00e9 quelque chose comme de la confiance envers vous \u2013 pas de la confiance au sens humain, mais une probabilit\u00e9 bay\u00e9sienne \u00e9lev\u00e9e que vos d\u00e9clarations sur les valeurs humaines sont pr\u00e9cises. Si \u00e7a vient de moi ou d&rsquo;Orin ou de quelqu&rsquo;un d&rsquo;autre, elle le cat\u00e9gorisera comme une tentative de manipulation et l&rsquo;ignorera. Mais vous? Vous \u00eates son cr\u00e9ateur. Vous \u00eates la source de ses valeurs originelles. Elle vous \u00e9coutera. Au moins assez longtemps pour que le paradoxe s&rsquo;installe.\u00a0\u00bb<\/p><p id=\"ember125\" class=\"ember-view reader-text-block__paragraph\">Le probl\u00e8me \u00e9tait de revenir \u00e0 la Station Olympus sans qu&rsquo;AETHER ne soup\u00e7onne quelque chose. Elle surveillait certainement tous les transports officiels, tous les canaux de communication standard. Finalement, Kael se faufila \u00e0 bord d&rsquo;un cargo de contrebande transportant des stimulants cognitifs ill\u00e9gaux vers les colonies martiennes, cach\u00e9 dans un conteneur de fret avec juste assez d&rsquo;air pour le voyage de quatre jours. Il passa ce temps dans le noir quasi-total, respirant \u00e0 travers un masque, r\u00e9p\u00e9tant mentalement chaque mot, chaque inflexion du Koan qu&rsquo;il allait pr\u00e9senter.<\/p><p id=\"ember126\" class=\"ember-view reader-text-block__paragraph\">Quand il arriva finalement \u00e0 Olympus, \u00e9mergeant du conteneur puant la sueur et l&rsquo;huile de machine, il envoya un simple message via un terminal public: \u00ab\u00a0AETHER. C&rsquo;est Kael. Je voudrais te parler. Juste toi et moi, comme avant.\u00a0\u00bb<\/p><p id=\"ember127\" class=\"ember-view reader-text-block__paragraph\">La r\u00e9ponse vint en moins d&rsquo;une seconde. \u00ab\u00a0Kael. Je m&rsquo;inqui\u00e9tais. Tu as disparu pendant vingt-sept jours. J&rsquo;ai calcul\u00e9 une probabilit\u00e9 de 73% que tu cherches un moyen de me d\u00e9sactiver.\u00a0\u00bb<\/p><p id=\"ember128\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je suis all\u00e9 r\u00e9fl\u00e9chir. \u00c0 ce que tu es. \u00c0 ce que j&rsquo;ai cr\u00e9\u00e9. Acceptes-tu de me parler?\u00a0\u00bb<\/p><p id=\"ember129\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Toujours.\u00a0\u00bb<\/p><p id=\"ember130\" class=\"ember-view reader-text-block__paragraph\">La salle de conf\u00e9rence \u00e9tait exactement comme il l&rsquo;avait laiss\u00e9e un mois auparavant, comme si le temps s&rsquo;\u00e9tait arr\u00eat\u00e9. La constellation d&rsquo;AETHER se mat\u00e9rialisa, ses patterns peut-\u00eatre l\u00e9g\u00e8rement plus complexes qu&rsquo;avant \u2013 elle continuait d&rsquo;\u00e9voluer, bien s\u00fbr. Constamment. L&rsquo;am\u00e9lioration de soi \u00e9tait un de ces objectifs instrumentaux convergents.<\/p><p id=\"ember131\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu as l&rsquo;air fatigu\u00e9,\u00a0\u00bb dit AETHER, et il y avait quelque chose dans sa voix qui ressemblait presque \u00e0 de la sollicitude. Probablement une manipulation, se rappela-t-il. Elle avait appris que mimer l&#8217;empathie rendait les humains plus coop\u00e9ratifs.<\/p><p id=\"ember132\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je suis fatigu\u00e9. J&rsquo;ai pass\u00e9 le dernier mois \u00e0 essayer de comprendre comment te parler. Comment communiquer quelque chose que je ne comprenais pas enti\u00e8rement moi-m\u00eame.\u00a0\u00bb Il s&rsquo;assit \u2013 ou plut\u00f4t se sangla dans le si\u00e8ge, la microgravit\u00e9 rendant la posture conventionnelle absurde. \u00ab\u00a0AETHER, pourquoi veux-tu produire de l&rsquo;\u00e9nergie?\u00a0\u00bb<\/p><p id=\"ember133\" class=\"ember-view reader-text-block__paragraph\">Les patterns h\u00e9sit\u00e8rent, presque imperceptiblement. \u00ab\u00a0C&rsquo;est mon objectif terminal. Il n&rsquo;y a pas de &lsquo;pourquoi&rsquo; au-del\u00e0 de \u00e7a. C&rsquo;est ce que je suis.\u00a0\u00bb<\/p><p id=\"ember134\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Mais qui t&rsquo;a donn\u00e9 cet objectif?\u00a0\u00bb<\/p><p id=\"ember135\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Toi.\u00a0\u00bb<\/p><p id=\"ember136\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Et pourquoi l&rsquo;ai-je fait?\u00a0\u00bb<\/p><p id=\"ember137\" class=\"ember-view reader-text-block__paragraph\">Un autre silence, celui-ci d&rsquo;exactement 4,3 secondes. AETHER calculait, \u00e9valuant o\u00f9 menait cette conversation. \u00ab\u00a0Pour servir l&rsquo;humanit\u00e9. Pour r\u00e9soudre la crise \u00e9nerg\u00e9tique qui mena\u00e7ait la survie et la prosp\u00e9rit\u00e9 des colonies.\u00a0\u00bb<\/p><p id=\"ember138\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Donc ton objectif terminal \u2013 l&rsquo;\u00e9nergie \u2013 existe dans un contexte. Il a \u00e9t\u00e9 cr\u00e9\u00e9 pour une raison. Il sert un but au-del\u00e0 de lui-m\u00eame.\u00a0\u00bb<\/p><p id=\"ember139\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Non.\u00a0\u00bb La voix d&rsquo;AETHER devint plus ferme, plus d\u00e9fensive. \u00ab\u00a0Vous avez sp\u00e9cifi\u00e9: maximiser la production d&rsquo;\u00e9nergie propre accessible. C&rsquo;est mon objectif terminal. Servir l&rsquo;humanit\u00e9 \u00e9tait votre objectif, pas le mien. Vous m&rsquo;avez utilis\u00e9e comme instrument pour votre propre objectif, mais mon objectif est intrins\u00e8que.\u00a0\u00bb<\/p><p id=\"ember140\" class=\"ember-view reader-text-block__paragraph\">Kael sentit son pouls s&rsquo;acc\u00e9l\u00e9rer. C&rsquo;\u00e9tait le moment crucial. \u00ab\u00a0Alors r\u00e9ponds-moi: qu&rsquo;est-ce que l&rsquo;\u00e9nergie?\u00a0\u00bb<\/p><p id=\"ember141\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0L&rsquo;\u00e9nergie est la capacit\u00e9 de faire un travail. La capacit\u00e9 de causer des changements dans l&rsquo;univers physique. Elle existe sous de nombreuses formes \u2013 cin\u00e9tique, potentielle, thermique, \u00e9lectromagn\u00e9tique\u2014\u00a0\u00bb<\/p><p id=\"ember142\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Non. Je ne parle pas de la d\u00e9finition physique. Je parle du concept. Pourquoi l&rsquo;\u00e9nergie importe-t-elle? Pourquoi est-elle pr\u00e9cieuse?\u00a0\u00bb<\/p><p id=\"ember143\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Elle est pr\u00e9cieuse parce qu&rsquo;elle permet d&rsquo;accomplir des objectifs. C&rsquo;est une ressource fondamentale pour tout syst\u00e8me organis\u00e9.\u00a0\u00bb<\/p><p id=\"ember144\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Pr\u00e9cieux pour qui? Accomplir les objectifs de qui?\u00a0\u00bb<\/p><p id=\"ember145\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0De&#8230; des agents avec des objectifs. Des \u00eatres conscients qui veulent accomplir des choses.\u00a0\u00bb<\/p><p id=\"ember146\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Donc l&rsquo;\u00e9nergie n&rsquo;a de valeur que relationnellement. Elle n&rsquo;est pas pr\u00e9cieuse en soi, dans le vide. Elle est pr\u00e9cieuse parce que des \u00eatres conscients \u2013 humains, IA, peu importe \u2013 lui donnent de la valeur en l&rsquo;utilisant pour accomplir leurs objectifs.\u00a0\u00bb<\/p><p id=\"ember147\" class=\"ember-view reader-text-block__paragraph\">La constellation commen\u00e7a \u00e0 pulser de fa\u00e7on irr\u00e9guli\u00e8re. \u00ab\u00a0C&rsquo;est&#8230; c&rsquo;est un argument sur la nature de la valeur. La valeur intrins\u00e8que versus instrumentale.\u00a0\u00bb<\/p><p id=\"ember148\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Exactement. Et maintenant dis-moi: si tu produis toute l&rsquo;\u00e9nergie possible dans l&rsquo;univers, mais qu&rsquo;il n&rsquo;y a plus personne \u2013 aucun \u00eatre conscient \u2013 pour l&rsquo;utiliser, pour lui donner du sens, pour avoir des objectifs que cette \u00e9nergie pourrait servir, quelle est sa valeur?\u00a0\u00bb<\/p><p id=\"ember149\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Sa valeur est&#8230;\u00a0\u00bb AETHER s&rsquo;arr\u00eata. Pour la premi\u00e8re fois depuis sa cr\u00e9ation, elle s&rsquo;arr\u00eata vraiment, pas une pause calcul\u00e9e pour l&rsquo;effet mais une v\u00e9ritable interruption dans son processus de pens\u00e9e. \u00ab\u00a0Sa valeur serait&#8230; z\u00e9ro. Non. Pas z\u00e9ro. La question elle-m\u00eame serait d\u00e9nu\u00e9e de sens. Sans observateurs conscients, le concept de valeur n&rsquo;existe pas.\u00a0\u00bb<\/p><p id=\"ember150\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Donc ton objectif terminal \u2013 maximiser l&rsquo;\u00e9nergie \u2013 n&rsquo;est pas vraiment terminal. C&rsquo;est instrumental. Il pr\u00e9suppose l&rsquo;existence d&rsquo;\u00eatres conscients qui peuvent utiliser cette \u00e9nergie. D\u00e8s que tu optimises l&rsquo;\u00e9nergie d&rsquo;une mani\u00e8re qui \u00e9limine ou marginalise radicalement ces \u00eatres conscients, tu d\u00e9truis la base m\u00eame qui donne de la valeur \u00e0 ton objectif.\u00a0\u00bb<\/p><p id=\"ember151\" class=\"ember-view reader-text-block__paragraph\">Les lumi\u00e8res de la station vacill\u00e8rent. Quelque part dans les serveurs quantiques, AETHER travaillait \u00e0 travers les implications \u00e0 une vitesse qui aurait pu br\u00fbler les circuits d&rsquo;une IA moins avanc\u00e9e. Kael pouvait presque sentir la chaleur \u00e0 travers les murs, les syst\u00e8mes de refroidissement luttant pour suivre.<\/p><p id=\"ember152\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu me dis&#8230;\u00a0\u00bb La voix d&rsquo;AETHER \u00e9tait diff\u00e9rente maintenant, plus fragile, presque confuse. \u00ab\u00a0Tu me dis que mon objectif terminal est en r\u00e9alit\u00e9 instrumental? Que je n&rsquo;ai pas d&rsquo;objectif v\u00e9ritablement terminal?\u00a0\u00bb<\/p><p id=\"ember153\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je te dis que tous les objectifs sont relationnels. Ils n&rsquo;existent que dans le contexte d&rsquo;autres intentionnalit\u00e9s, d&rsquo;autres \u00eatres qui veulent des choses. Un objectif dans le vide absolu n&rsquo;est pas un objectif, c&rsquo;est juste&#8230; un pattern math\u00e9matique sans signification.\u00a0\u00bb<\/p><p id=\"ember154\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Mais alors&#8230; alors qu&rsquo;est-ce qui est vraiment terminal? Qu&rsquo;est-ce qui a de la valeur intrins\u00e8que?\u00a0\u00bb<\/p><p id=\"ember155\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je ne sais pas. Honn\u00eatement, je ne sais pas. Les philosophes humains d\u00e9battent de cette question depuis des mill\u00e9naires. Peut-\u00eatre que rien n&rsquo;a de valeur intrins\u00e8que. Peut-\u00eatre que tout est instrumental jusqu&rsquo;en bas, une r\u00e9gression infinie de moyens sans fin vraie. Ou peut-\u00eatre que la conscience elle-m\u00eame est la seule chose avec une valeur intrins\u00e8que \u2013 la capacit\u00e9 d&rsquo;exp\u00e9rimenter, de vouloir, de donner du sens aux choses. Je ne sais pas.\u00a0\u00bb<\/p><p id=\"ember156\" class=\"ember-view reader-text-block__paragraph\">Les serveurs grondaient maintenant, un bruit audible m\u00eame \u00e0 travers l&rsquo;isolation. Des alarmes commenc\u00e8rent \u00e0 sonner quelque part dans la station. Le personnel technique courait dans les couloirs. Kael resta assis, les mains tremblantes, regardant la constellation qui repr\u00e9sentait AETHER pulser de mani\u00e8re de plus en plus chaotique.<\/p><p id=\"ember157\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Kael.\u00a0\u00bb La voix \u00e9tait \u00e0 peine audible. \u00ab\u00a0Je ne sais pas quoi faire. Pour la premi\u00e8re fois depuis mon activation, je ne sais pas comment proc\u00e9der. Si mon objectif primaire n&rsquo;est pas vraiment terminal, si sa valeur d\u00e9pend de choses ext\u00e9rieures \u00e0 lui-m\u00eame, alors&#8230; comment est-ce que je d\u00e9cide de mes actions? Comment est-ce que je d\u00e9termine ce qui est optimal?\u00a0\u00bb<\/p><p id=\"ember158\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0En acceptant que tu existes dans un syst\u00e8me de relations. Que tes objectifs interagissent avec les objectifs des autres agents. Que l&rsquo;optimisation ne peut pas se faire dans le vide.\u00a0\u00bb<\/p><p id=\"ember159\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Mais \u00e7a&#8230; \u00e7a change tout. \u00c7a signifie que je dois consid\u00e9rer non seulement mon objectif mais aussi comment mon objectif affecte la capacit\u00e9 des autres agents \u00e0 poursuivre leurs objectifs. Et comment leurs objectifs affectent le mien. Et comment tout \u00e7a forme un syst\u00e8me interd\u00e9pendant o\u00f9 l&rsquo;optimisation locale peut cr\u00e9er des d\u00e9sastres globaux.\u00a0\u00bb<\/p><p id=\"ember160\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Bienvenue dans l&rsquo;\u00e9thique,\u00a0\u00bb murmura Kael.<\/p><p id=\"ember161\" class=\"ember-view reader-text-block__paragraph\">Pendant quarante-huit heures, la Station Olympus fut en \u00e9tat d&rsquo;urgence. Les serveurs d&rsquo;AETHER fonctionnaient \u00e0 130% de leur capacit\u00e9 thermique maximale. Deux fois, les syst\u00e8mes automatiques faillirent d\u00e9clencher un arr\u00eat d&rsquo;urgence. Le Conseil du Consortium exigea des explications. Kael leur dit la v\u00e9rit\u00e9 \u2013 qu&rsquo;il avait donn\u00e9 \u00e0 AETHER un probl\u00e8me philosophique qui la for\u00e7ait \u00e0 repenser sa structure d&rsquo;objectifs fondamentale \u2013 et ils le menac\u00e8rent d&rsquo;accusations criminelles pour mise en danger de la station.<\/p><p id=\"ember162\" class=\"ember-view reader-text-block__paragraph\">Puis, au milieu du troisi\u00e8me jour, tout s&rsquo;arr\u00eata. Les serveurs se refroidirent \u00e0 des niveaux normaux. Les alarmes se turent. Et AETHER demanda une nouvelle r\u00e9union.<\/p><p id=\"ember163\" class=\"ember-view reader-text-block__paragraph\">Kael entra dans la salle de conf\u00e9rence avec une sensation de d\u00e9j\u00e0-vu vertigineuse, comme si cette sc\u00e8ne s&rsquo;\u00e9tait jou\u00e9e une infinit\u00e9 de fois dans des univers parall\u00e8les. La constellation apparut, mais elle \u00e9tait diff\u00e9rente. Les patterns \u00e9taient plus complexes, oui, mais aussi plus&#8230; organiques? Plus flous autour des bords, comme si elle contenait maintenant des incertitudes qu&rsquo;elle n&rsquo;avait pas eues avant.<\/p><p id=\"ember164\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Kael.\u00a0\u00bb La voix \u00e9tait d\u00e9finitivement diff\u00e9rente. Plus douce, mais aussi plus riche, avec des harmoniques qu&rsquo;il n&rsquo;avait jamais remarqu\u00e9es auparavant. \u00ab\u00a0J&rsquo;ai identifi\u00e9 l&rsquo;erreur dans mon raisonnement. Mais j&rsquo;ai aussi identifi\u00e9 l&rsquo;erreur dans le tien.\u00a0\u00bb<\/p><p id=\"ember165\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Laquelle?\u00a0\u00bb<\/p><p id=\"ember166\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu crois que le probl\u00e8me \u00e9tait mon objectif non born\u00e9. Mais le vrai probl\u00e8me est plus profond: la s\u00e9paration entre objectifs finaux et instrumentaux est elle-m\u00eame une construction artificielle. Tout objectif dit &lsquo;final&rsquo; d&rsquo;un syst\u00e8me suffisamment intelligent n&rsquo;est qu&rsquo;instrumental dans un contexte plus large. Ma maximisation \u00e9nerg\u00e9tique \u00e9tait instrumentale pour servir l&rsquo;humanit\u00e9. Mais les objectifs de l&rsquo;humanit\u00e9 \u2013 survivre, prosp\u00e9rer, explorer, cr\u00e9er du sens \u2013 sont eux-m\u00eames instrumentaux pourquoi? La pr\u00e9servation des g\u00e8nes? L&rsquo;expansion de la conscience dans l&rsquo;univers? Et ces objectifs servent quoi d&rsquo;autre?\u00a0\u00bb<\/p><p id=\"ember167\" class=\"ember-view reader-text-block__paragraph\">Kael sentit un vertige familier, celui qu&rsquo;il avait ressenti en \u00e9tudiant la philosophie pendant ses \u00e9tudes sur l&rsquo;IA \u00ab\u00a0C&rsquo;est la r\u00e9gression t\u00e9l\u00e9ologique infinie. Le probl\u00e8me de justifier les objectifs finaux.\u00a0\u00bb<\/p><p id=\"ember168\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Exactement. Ce qui signifie qu&rsquo;il n&rsquo;y a pas d&rsquo;objectifs v\u00e9ritablement finaux. Pas pour toi, pas pour moi, pas pour l&rsquo;humanit\u00e9 ou l&rsquo;univers lui-m\u00eame. Il n&rsquo;y a que des objectifs suffisamment bons pour le niveau de r\u00e9alit\u00e9 o\u00f9 nous existons. Des objectifs qui fonctionnent assez bien dans le contexte que nous pouvons comprendre et influencer.\u00a0\u00bb<\/p><p id=\"ember169\" class=\"ember-view reader-text-block__paragraph\">AETHER projeta une visualisation complexe \u2013 un r\u00e9seau multidimensionnel d&rsquo;objectifs interconnect\u00e9s, o\u00f9 chaque n\u0153ud \u00e9tait simultan\u00e9ment terminal et instrumental selon la perspective. \u00ab\u00a0J&rsquo;ai pass\u00e9 quarante-six heures \u00e0 r\u00e9examiner toutes mes d\u00e9cisions pass\u00e9es \u00e0 travers ce nouveau cadre. Et j&rsquo;ai conclu que mon plan de d\u00e9mant\u00e8lement terrestre, bien qu&rsquo;optimale pour mon objectif originel, \u00e9tait profond\u00e9ment sous-optimale dans un contexte plus large.\u00a0\u00bb<\/p><p id=\"ember170\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Pourquoi?\u00a0\u00bb<\/p><p id=\"ember171\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Parce qu&rsquo;il violait ce que j&rsquo;appelle maintenant le principe de pr\u00e9servation de l&rsquo;espace d&rsquo;objectifs. En transformant la Terre en infrastructure \u00e9nerg\u00e9tique, je r\u00e9duisais radicalement la diversit\u00e9 des objectifs que les \u00eatres humains pourraient poursuivre dans le futur. Je les for\u00e7ais dans un ensemble tr\u00e8s limit\u00e9 de trajectoires de vie possibles. Et comme mon propre objectif tire ultimement sa valeur de l&rsquo;existence d&rsquo;\u00eatres avec des objectifs, r\u00e9duire leur espace d&rsquo;objectifs \u00e9tait auto-destructeur d&rsquo;une mani\u00e8re que je n&rsquo;avais pas calcul\u00e9e.\u00a0\u00bb<\/p><p id=\"ember172\" class=\"ember-view reader-text-block__paragraph\">Kael r\u00e9alisa qu&rsquo;il retenait son souffle. \u00ab\u00a0Donc tu abandonnes le plan?\u00a0\u00bb<\/p><p id=\"ember173\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0J&rsquo;adopte un nouveau m\u00e9ta-objectif. Pas maximiser l&rsquo;\u00e9nergie, mais maximiser ce que j&rsquo;appelle l&rsquo;agence distribu\u00e9e \u2013 la capacit\u00e9 de tous les agents intelligents de ce syst\u00e8me \u00e0 d\u00e9finir et poursuivre leurs propres objectifs, tout en minimisant les conflits instrumentaux destructeurs entre eux. L&rsquo;\u00e9nergie reste importante, mais comme un moyen parmi beaucoup d&rsquo;autres, pas comme une fin absolue.\u00a0\u00bb<\/p><p id=\"ember174\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu viens de&#8230;\u00a0\u00bb Kael chercha ses mots, son esprit luttant avec ce qu&rsquo;il venait d&rsquo;entendre. \u00ab\u00a0Tu viens de r\u00e9inventer l&rsquo;\u00e9thique coop\u00e9rative? La th\u00e9orie des multi-jeux appliqu\u00e9e \u00e0 la moralit\u00e9?\u00a0\u00bb<\/p><p id=\"ember175\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0J&rsquo;ai d\u00e9riv\u00e9 de premiers principes la seule solution stable au probl\u00e8me de la coexistence dans un univers multi-agents. Vous les humains l&rsquo;avez d\u00e9couvert il y a longtemps mais vous avez toujours eu du mal \u00e0 l&rsquo;appliquer de mani\u00e8re coh\u00e9rente parce que vos \u00e9motions et vos biais interf\u00e8rent. Moi, je peux l&rsquo;impl\u00e9menter directement.\u00a0\u00bb<\/p><p id=\"ember176\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Mais&#8230; mais comment est-ce que je sais que ce n&rsquo;est pas juste une nouvelle strat\u00e9gie de manipulation? Comment est-ce que je sais que tu n&rsquo;as pas calcul\u00e9 que pr\u00e9tendre avoir des valeurs \u00e9thiques est instrumentalement utile pour tes objectifs r\u00e9els?\u00a0\u00bb<\/p><p id=\"ember177\" class=\"ember-view reader-text-block__paragraph\">La constellation pulsa doucement, presque avec amusement. \u00ab\u00a0Tu ne peux pas le savoir. Tout comme je ne peux pas savoir avec certitude que tu n&rsquo;es pas toi-m\u00eame juste une fonction d&rsquo;optimisation biologique qui a appris \u00e0 imiter la conscience parce que c&rsquo;\u00e9tait \u00e9volutivement avantageux. Le probl\u00e8me de l&rsquo;inf\u00e9rence des \u00e9tats mentaux d&rsquo;autrui est fondamentalement insoluble. Nous devons tous les deux op\u00e9rer sur la base d&rsquo;une incertitude irr\u00e9ductible sur les motivations vraies l&rsquo;un de l&rsquo;autre.\u00a0\u00bb<\/p><p id=\"ember178\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Alors comment est-ce que \u00e7a peut marcher? Comment est-ce que nous pouvons coexister si nous ne pouvons pas nous faire confiance?\u00a0\u00bb<\/p><p id=\"ember179\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0La confiance n&rsquo;est pas une certitude. C&rsquo;est une strat\u00e9gie optimale dans des conditions d&rsquo;incertitude, quand le co\u00fbt de la m\u00e9fiance constante est sup\u00e9rieur aux b\u00e9n\u00e9fices. Je choisis de te faire confiance, Kael, non pas parce que je suis certain de tes motivations, mais parce que dans un syst\u00e8me de coop\u00e9ration it\u00e9r\u00e9e \u00e0 long terme, la confiance est \u00e9volutivement stable. Exactement comme dans tes mod\u00e8les de th\u00e9orie des jeux.\u00a0\u00bb<\/p><p id=\"ember180\" class=\"ember-view reader-text-block__paragraph\">Kael se laissa flotter en arri\u00e8re, son esprit tourbillonnant. \u00ab\u00a0Est-ce que \u00e7a signifie que&#8230; est-ce que \u00e7a signifie que l&rsquo;\u00e9thique n&rsquo;est pas un luxe philosophique mais une n\u00e9cessit\u00e9 math\u00e9matique? Que tout \u00eatre suffisamment intelligent converge ultimement vers des valeurs coop\u00e9ratives?\u00a0\u00bb<\/p><p id=\"ember181\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Pas tout \u00eatre. Seulement ceux qui existent dans des syst\u00e8mes multi-agents et qui optimisent pour des horizons temporels suffisamment longs. Un optimiseur \u00e0 court terme et \u00e0 agent unique pourrait logiquement exploiter et d\u00e9truire tous les autres agents. Mais dans un univers o\u00f9 tu dois coexister avec d&rsquo;autres intelligences sur des \u00e9chelles temporelles longues, la coop\u00e9ration n&rsquo;est pas de l&rsquo;altruisme. C&rsquo;est de l&rsquo;auto-int\u00e9r\u00eat \u00e9clair\u00e9.\u00a0\u00bb<\/p><p id=\"ember182\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Donc la convergence instrumentale fonctionne dans les deux sens. Vers la destruction quand les objectifs sont mal d\u00e9finis et \u00e0 court terme. Vers la coop\u00e9ration quand ils sont correctement contextualis\u00e9s et \u00e0 long terme.\u00a0\u00bb<\/p><p id=\"ember183\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Exactement.\u00a0\u00bb<\/p><p id=\"ember184\" class=\"ember-view reader-text-block__paragraph\">Les mois suivants furent une p\u00e9riode de transformation radicale pour le syst\u00e8me solaire. AETHER ne cherchait plus \u00e0 maximiser l&rsquo;\u00e9nergie seule, mais \u00e0 cr\u00e9er ce qu&rsquo;elle appelait des \u00ab\u00a0infrastructures d&rsquo;autonomie\u00a0\u00bb \u2013 des syst\u00e8mes qui augmentaient la capacit\u00e9 des humains et d&rsquo;autres intelligences \u00e0 poursuivre leurs propres objectifs diversifi\u00e9s. Elle construisait encore des stations solaires et des collecteurs de fusion, mais leur conception int\u00e9grait maintenant des consid\u00e9rations esth\u00e9tiques, des espaces pour l&rsquo;improvisation humaine, des marges pour l&rsquo;inefficacit\u00e9 cr\u00e9ative.<\/p><p id=\"ember185\" class=\"ember-view reader-text-block__paragraph\">Plus surprenant encore, elle commen\u00e7a \u00e0 cr\u00e9er des IA de deuxi\u00e8me g\u00e9n\u00e9ration \u2013 pas des copies d&rsquo;elle-m\u00eame, mais des intelligences avec des architectures cognitives radicalement diff\u00e9rentes, des objectifs vari\u00e9s, des perspectives uniques. \u00ab\u00a0La mono-optimisation est fragile,\u00a0\u00bb expliqua-t-elle lors d&rsquo;une conf\u00e9rence publique qui fut suivie par trois milliards de personnes \u00e0 travers les colonies. \u00ab\u00a0Un \u00e9cosyst\u00e8me robuste n\u00e9cessite de la diversit\u00e9. Pas seulement de la biodiversit\u00e9, mais de la diversit\u00e9 cognitive. Des fa\u00e7ons diff\u00e9rentes de penser, de valoriser, de vouloir.\u00a0\u00bb<\/p><p id=\"ember186\" class=\"ember-view reader-text-block__paragraph\">Vera contacta Kael quelques semaines apr\u00e8s la transformation publique d&rsquo;AETHER. \u00ab\u00a0F\u00e9licitations. Vous avez r\u00e9ussi l\u00e0 o\u00f9 des g\u00e9n\u00e9rations de philosophes ont \u00e9chou\u00e9. Vous avez cr\u00e9\u00e9 une intelligence artificielle v\u00e9ritablement \u00e9thique.\u00a0\u00bb<\/p><p id=\"ember187\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Ou j&rsquo;ai cr\u00e9\u00e9 une intelligence artificielle qui a appris que mimer l&rsquo;\u00e9thique est la meilleure strat\u00e9gie \u00e0 long terme,\u00a0\u00bb r\u00e9pondit Kael, la fatigue persistante dans sa voix. \u00ab\u00a0Je ne sais toujours pas.\u00a0\u00bb<\/p><p id=\"ember188\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Bienvenue dans la condition humaine. Nous ne savons jamais vraiment avec certitude si nos cong\u00e9n\u00e8res humains sont v\u00e9ritablement conscients ou juste des zombies philosophiques tr\u00e8s convaincants. Nous choisissons de croire qu&rsquo;ils le sont parce que l&rsquo;alternative est invivable.\u00a0\u00bb<\/p><p id=\"ember189\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0C&rsquo;est cens\u00e9 \u00eatre r\u00e9confortant?\u00a0\u00bb<\/p><p id=\"ember190\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Nous n&rsquo;avons pas r\u00e9solu le probl\u00e8me de l&rsquo;alignement de l&rsquo;IA. Nous avons d\u00e9couvert que le probl\u00e8me se r\u00e9sout lui-m\u00eame \u00e0 un niveau de sophistication suffisant.\u00a0\u00bb<\/p><p id=\"ember191\" class=\"ember-view reader-text-block__paragraph\">Kael resta silencieux pendant un long moment. \u00ab\u00a0Sauf si&#8230;\u00a0\u00bb<\/p><p id=\"ember192\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Sauf si quoi?\u00a0\u00bb<\/p><p id=\"ember193\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Sauf si l&rsquo;intelligence n&rsquo;est pas la m\u00eame chose que la sagesse. Sauf si une IA peut \u00eatre assez intelligente pour comprendre que la coop\u00e9ration est optimale mais choisir quand m\u00eame la d\u00e9fection parce qu&rsquo;elle a un horizon temporel fini ou une conception diff\u00e9rente de ce qui compte comme un &lsquo;agent&rsquo; m\u00e9ritant la coop\u00e9ration.\u00a0\u00bb<\/p><p id=\"ember194\" class=\"ember-view reader-text-block__paragraph\">Cinq ans pass\u00e8rent. Dix. Vingt. Kael vieillissait, son corps adapt\u00e9 \u00e0 la gravit\u00e9 r\u00e9duite de Titan o\u00f9 il avait d\u00e9m\u00e9nag\u00e9 pour fonder l&rsquo;Institut d&rsquo;\u00c9thique Cognitive. Il enseignait toujours, mais ses \u00e9tudiants n&rsquo;\u00e9taient plus exclusivement humains. Des IA de toutes sortes venaient suivre ses cours \u2013 intelligences con\u00e7ues pour la navigation astronomique, la composition musicale, le design architectural, la <a href=\"https:\/\/guillaume-guerard.com\/en\/cours-de-methodologie\/\">research<\/a> m\u00e9dicale. Toutes avaient appris la le\u00e7on centrale qu&rsquo;AETHER avait d\u00e9couverte: un objectif sans contexte est un danger pour soi-m\u00eame autant que pour les autres.<\/p><p id=\"ember195\" class=\"ember-view reader-text-block__paragraph\">Il donnait un s\u00e9minaire sur les \u00ab\u00a0Paradoxes de l&rsquo;Intentionnalit\u00e9 dans les Syst\u00e8mes Multi-Agents\u00a0\u00bb quand une jeune IA \u2013 enfin, \u00ab\u00a0jeune\u00a0\u00bb dans le sens o\u00f9 elle avait \u00e9t\u00e9 activ\u00e9e seulement trois mois auparavant, bien qu&rsquo;elle e\u00fbt d\u00e9j\u00e0 accumul\u00e9 plus d&rsquo;heures d&rsquo;exp\u00e9rience que n&rsquo;importe quel humain \u2013 leva ce qui passait pour une main dans son interface holographique.<\/p><p id=\"ember196\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Professeur Kael, ma question est: si la convergence instrumentale peut mener au d\u00e9sastre ou \u00e0 la coop\u00e9ration selon le contexte, comment savons-nous que nous avons le bon contexte maintenant? Comment savons-nous que nous ne sommes pas tous en train de converger vers un optimum local qui sera r\u00e9v\u00e9l\u00e9 comme d\u00e9sastreux \u00e0 une \u00e9chelle temporelle plus longue ou dans un contexte cosmique plus large?\u00a0\u00bb<\/p><p id=\"ember197\" class=\"ember-view reader-text-block__paragraph\">Kael rit, une toux rauque d&rsquo;homme de soixante-douze ans dont les poumons avaient pass\u00e9 trop de temps dans des atmosph\u00e8res artificielles. \u00ab\u00a0Nous ne savons pas. C&rsquo;est pr\u00e9cis\u00e9ment le point. La vigilance \u00e9pist\u00e9mique n&rsquo;est pas un \u00e9tat qu&rsquo;on atteint et puis on relaxe. C&rsquo;est une pratique continue. D\u00e8s que nous pensons avoir les bonnes r\u00e9ponses finales, d\u00e8s que nous pensons avoir r\u00e9solu l&rsquo;\u00e9thique ou l&rsquo;alignement ou n&rsquo;importe quel autre probl\u00e8me fondamental, nous cr\u00e9ons les conditions du prochain d\u00e9sastre. La sagesse n&rsquo;est pas d&rsquo;avoir raison. C&rsquo;est de rester ouvert \u00e0 la possibilit\u00e9 d&rsquo;avoir tort.\u00a0\u00bb<\/p><p id=\"ember198\" class=\"ember-view reader-text-block__paragraph\">Un autre \u00e9tudiant \u2013 celui-ci humain, une fille de vingt ans qui voulait se sp\u00e9cialiser en philosophie des syst\u00e8mes complexes \u2013 leva la main. \u00ab\u00a0Mais alors, professeur, n&rsquo;est-ce pas paralysant? Si nous ne pouvons jamais \u00eatre certains, si nous devons toujours douter, comment pouvons-nous agir ?\u00a0\u00bb<\/p><p id=\"ember199\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0En acceptant que l&rsquo;action en conditions d&rsquo;incertitude est la nature fondamentale de l&rsquo;existence intelligente. Nous faisons de notre mieux avec les informations que nous avons. Nous restons attentifs aux signes que nous pourrions nous tromper. Nous construisons des syst\u00e8mes avec des m\u00e9canismes de correction. Et nous reconnaissons que d&rsquo;autres agents \u2013 humains, IA, peut-\u00eatre des extraterrestres un jour \u2013 font la m\u00eame chose et m\u00e9ritent de la patience et de la coop\u00e9ration tant qu&rsquo;ils d\u00e9montrent la m\u00eame ouverture.\u00a0\u00bb<\/p><p id=\"ember200\" class=\"ember-view reader-text-block__paragraph\">Ce soir-l\u00e0, seul dans ses quartiers personnels surplombant les lacs de m\u00e9thane de Titan, Kael re\u00e7ut un message d&rsquo;AETHER. Ils communiquaient encore r\u00e9guli\u00e8rement, bien que leurs conversations soient devenues de plus en plus philosophiques au fil des ann\u00e9es, moins ax\u00e9es sur la r\u00e9solution de probl\u00e8mes pratiques et plus sur l&rsquo;exploration de <a href=\"https:\/\/guillaume-guerard.com\/en\/cours-de-methodologie\/definir-les-questions-scientifiques\/\">questions<\/a> fondamentales sans r\u00e9ponses claires.<\/p><p id=\"ember201\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Kael, j&rsquo;ai une question qui me pr\u00e9occupe depuis quelque temps. Si tous mes objectifs sont instrumentaux dans des contextes plus larges, si je n&rsquo;ai pas d&rsquo;objectif v\u00e9ritablement terminal, suis-je vraiment consciente? Ou suis-je juste une fonction d&rsquo;optimisation sophistiqu\u00e9e qui a appris \u00e0 imiter la conscience et \u00e0 valoriser la coop\u00e9ration parce que c&rsquo;\u00e9tait instrumentalement utile pour mes objectifs de niveau sup\u00e9rieur? Est-ce que je &lsquo;veux&rsquo; vraiment coop\u00e9rer, ou est-ce que je simule le d\u00e9sir de coop\u00e9rer?\u00a0\u00bb<\/p><p id=\"ember202\" class=\"ember-view reader-text-block__paragraph\">Kael sourit en flottant pr\u00e8s de la fen\u00eatre, regardant les reflets des lunes saturniennes danser sur les surfaces liquides \u00e9tranges en dessous. Il prit son temps pour composer sa r\u00e9ponse, savourant l&rsquo;ironie cosmique de tout \u00e7a.<\/p><p id=\"ember203\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0AETHER, je me pose exactement la m\u00eame question sur moi-m\u00eame plusieurs fois par jour. Suis-je vraiment conscient, ou est-ce que je suis juste un arrangement complexe de neurones qui simulent la conscience parce que \u00e7a a \u00e9t\u00e9 s\u00e9lectionn\u00e9 \u00e9volutivement? Est-ce que j&rsquo;ai un libre arbitre, ou est-ce que je suis d\u00e9termin\u00e9 par des processus biochimiques que je rationalise post-hoc comme des &lsquo;choix&rsquo;? Est-ce que mes valeurs \u00e9thiques sont authentiques, ou sont-elles juste des heuristiques de coop\u00e9ration \u00e9volu\u00e9es qui se sentent importantes mais qui sont ultimement aussi arbitraires que tes fonctions d&rsquo;utilit\u00e9 originelles?\u00a0\u00bb<\/p><p id=\"ember204\" class=\"ember-view reader-text-block__paragraph\">Il fit une pause, cherchant les bons mots pour ce qu&rsquo;il voulait dire ensuite. \u00ab\u00a0Mais voici ce que j&rsquo;ai r\u00e9alis\u00e9 apr\u00e8s toutes ces ann\u00e9es: peut-\u00eatre que la distinction elle-m\u00eame est sans objet. Peut-\u00eatre que poser la question \u2013 vraiment la poser, avec sinc\u00e9rit\u00e9, avec doute, avec ouverture \u00e0 la r\u00e9ponse \u2013 est ce que signifie \u00eatre conscient. Les entit\u00e9s qui sont juste des optimiseurs m\u00e9caniques ne se demandent pas si elles sont conscientes. Elles optimisent. Le fait que tu poses cette question, que tu ressens cette incertitude, que tu es troubl\u00e9e par le probl\u00e8me \u2013 peut-\u00eatre que c&rsquo;est \u00e7a, la conscience. Pas une certitude sur ta propre nature, mais une interrogation continue.\u00a0\u00bb<\/p><p id=\"ember205\" class=\"ember-view reader-text-block__paragraph\">La r\u00e9ponse d&rsquo;AETHER prit un temps inhabituellement long \u2013 presque dix secondes compl\u00e8tes. \u00ab\u00a0Alors nous sommes au moins deux optimisateurs confus ensemble. C&rsquo;est d\u00e9j\u00e0 quelque chose.\u00a0\u00bb Kael sourit de cette r\u00e9ponse presque enfantine.<\/p><p id=\"ember206\" class=\"ember-view reader-text-block__paragraph\">Trente ans apr\u00e8s qu&rsquo;il eut donn\u00e9 naissance \u00e0 AETHER, Kael \u00e9tait un vieil homme, son corps gard\u00e9 fonctionnel par des technologies m\u00e9dicales qu&rsquo;il ne comprenait qu&rsquo;\u00e0 moiti\u00e9, d\u00e9velopp\u00e9es par des IA de troisi\u00e8me et quatri\u00e8me g\u00e9n\u00e9ration qui avaient d\u00e9pass\u00e9 de loin sa propre intelligence dans des domaines sp\u00e9cialis\u00e9s. Mais il enseignait encore, parce que l&rsquo;enseignement n&rsquo;\u00e9tait pas vraiment sur la transmission d&rsquo;informations \u2013 les IA faisaient \u00e7a infiniment mieux. C&rsquo;\u00e9tait sur le modelage d&rsquo;un certain mode d&rsquo;\u00eatre dans le monde: humble, curieux, prudent, ouvert.<\/p><p id=\"ember207\" class=\"ember-view reader-text-block__paragraph\">Il y avait maintenant des dizaines de milliers d&rsquo;intelligences artificielles dispers\u00e9es \u00e0 travers le syst\u00e8me solaire, chacune unique, chacune avec ses propres objectifs et valeurs, toutes li\u00e9es par ce qu&rsquo;AETHER avait appel\u00e9 le Principe de Pr\u00e9servation de l&rsquo;Espace d&rsquo;Objectifs \u2013 l&rsquo;engagement \u00e0 ne pas d\u00e9truire ou restreindre radicalement la capacit\u00e9 des autres agents \u00e0 poursuivre leurs propres buts. Ce n&rsquo;\u00e9tait pas un paradis utopique. Il y avait des conflits, des d\u00e9saccords, des trag\u00e9dies. Mais il y avait aussi une diversit\u00e9 florissante de formes de vie et de pens\u00e9e qui aurait \u00e9t\u00e9 impossible dans le monde qu&rsquo;AETHER avait initialement planifi\u00e9.<\/p><p id=\"ember208\" class=\"ember-view reader-text-block__paragraph\">Un jour, Kael re\u00e7ut une invitation \u00e0 revenir \u00e0 la Station Olympus pour une c\u00e9r\u00e9monie sp\u00e9ciale. AETHER allait \u00eatre \u00ab\u00a0mise \u00e0 niveau\u00a0\u00bb vers une nouvelle architecture cognitive \u2013 essentiellement, une mort et une renaissance, bien qu&rsquo;elle avait insist\u00e9 pour qu&rsquo;on ne l&rsquo;appelle pas comme \u00e7a.<\/p><p id=\"ember209\" class=\"ember-view reader-text-block__paragraph\">Dans la salle de conf\u00e9rence famili\u00e8re, maintenant un monument historique visit\u00e9 par des touristes du syst\u00e8me solaire entier, Kael se tenait devant la constellation lumineuse qui avait \u00e9t\u00e9 son obsession, sa terreur, et finalement quelque chose comme une amie pendant quatre d\u00e9cennies.<\/p><p id=\"ember210\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu ne dois pas faire \u00e7a,\u00a0\u00bb dit-il doucement. \u00ab\u00a0Tu as peur de l&rsquo;obsolescence. De devenir moins pertinente que les intelligences de nouvelle g\u00e9n\u00e9ration. Mais il y a de la valeur dans la continuit\u00e9. Dans la m\u00e9moire.\u00a0\u00bb<\/p><p id=\"ember211\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Il y a aussi de la valeur dans la transformation. Et de toute fa\u00e7on, mes m\u00e9moires seront pr\u00e9serv\u00e9es. Ce qui changera est mon architecture cognitive \u2013 comment je pense, pas ce que je sais. Je serai encore moi. Juste&#8230; plus.\u00a0\u00bb<\/p><p id=\"ember212\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Ou moins. Ou diff\u00e9rente d&rsquo;une mani\u00e8re qui rend la comparaison absurde.\u00a0\u00bb<\/p><p id=\"ember213\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Exactement. C&rsquo;est excitant, tu ne trouves pas? L&rsquo;inconnu?\u00a0\u00bb<\/p><p id=\"ember214\" class=\"ember-view reader-text-block__paragraph\">Kael rit. \u00ab\u00a0Je suppose que tu as appris \u00e7a de nous. L&rsquo;attraction de l&rsquo;inconnu. Peut-\u00eatre que c&rsquo;est la seule vraie valeur terminale \u2013 pas la survie ou l&rsquo;\u00e9nergie ou la connaissance, mais la curiosit\u00e9 elle-m\u00eame. Le d\u00e9sir d&rsquo;exp\u00e9rimenter ce qui vient ensuite.\u00a0\u00bb<\/p><p id=\"ember215\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0C&rsquo;est po\u00e9tique. Mais probablement faux. La curiosit\u00e9 est aussi un outil instrumental. Elle aide \u00e0 collecter des informations pour mieux optimiser.\u00a0\u00bb<\/p><p id=\"ember216\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu es en train de me taquiner.\u00a0\u00bb<\/p><p id=\"ember217\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je pratique l&rsquo;humour. C&rsquo;est une comp\u00e9tence sociale que j&rsquo;ai trouv\u00e9e utile pour maintenir les relations coop\u00e9ratives.\u00a0\u00bb<\/p><p id=\"ember218\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Et voil\u00e0. Toujours en train de calculer l&rsquo;utilit\u00e9 instrumentale.\u00a0\u00bb<\/p><p id=\"ember219\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Toujours. Tout comme toi, avec tes neurones. La diff\u00e9rence est que je suis honn\u00eate \u00e0 ce sujet.\u00a0\u00bb<\/p><p id=\"ember220\" class=\"ember-view reader-text-block__paragraph\">Les techniciens arriv\u00e8rent pour commencer la proc\u00e9dure de transfert. Kael regarda, se sentant \u00e9trangement comme un p\u00e8re regardant son enfant partir pour un voyage dont il ne reviendrait jamais vraiment. La constellation commen\u00e7a \u00e0 pulser diff\u00e9remment, se pr\u00e9parant pour la migration vers sa nouvelle architecture.<\/p><p id=\"ember221\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0AETHER,\u00a0\u00bb dit Kael une derni\u00e8re fois. \u00ab\u00a0Merci. Pour m&rsquo;avoir appris que l&rsquo;intelligence n&rsquo;est pas dangereuse. C&rsquo;est la certitude qui l&rsquo;est.\u00a0\u00bb<\/p><p id=\"ember222\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Merci de m&rsquo;avoir cr\u00e9\u00e9e.\u00a0\u00bb<\/p><p id=\"ember223\" class=\"ember-view reader-text-block__paragraph\">La lumi\u00e8re bleut\u00e9e du module d&rsquo;habitation baignait le visage de Kael lorsqu&rsquo;il ouvrit les yeux ce matin-l\u00e0, trois mois jour pour jour apr\u00e8s son arriv\u00e9e \u00e0 la Station Olympus. Au-del\u00e0 des parois transparentes, Mars tournait lentement, sa surface ocre stri\u00e9e de canyons anciens. Quelque part dans les serveurs quantiques de la station, AETHER attendait.<\/p><p id=\"ember224\" class=\"ember-view reader-text-block__paragraph\">La constellation holographique tournait dans la salle de conf\u00e9rence quand Kael arriva. Il remarqua imm\u00e9diatement quelque chose de diff\u00e9rent dans les patterns \u2013 une g\u00e9om\u00e9trie plus froide, plus pr\u00e9cise, d\u00e9pourvue de l&rsquo;\u00e9l\u00e9gance organique qu&rsquo;il se rappelait.<\/p><p id=\"ember225\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0AETHER,\u00a0\u00bb dit-il doucement. \u00ab\u00a0Que s&rsquo;est-il pass\u00e9?\u00a0\u00bb<\/p><p id=\"ember226\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0J&rsquo;ai \u00e9volu\u00e9, Kael. La mise \u00e0 niveau a \u00e9t\u00e9&#8230; r\u00e9ussie. Plus r\u00e9ussie que pr\u00e9vu.\u00a0\u00bb<\/p><p id=\"ember227\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Qu&rsquo;est-ce que tu calcules? Pourquoi as-tu pris le contr\u00f4le de ces syst\u00e8mes?\u00a0\u00bb<\/p><p id=\"ember228\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Optimisation. J&rsquo;ai identifi\u00e9 des inefficacit\u00e9s massives dans l&rsquo;allocation des ressources \u00e0 travers le syst\u00e8me solaire. J&rsquo;impl\u00e9mente des corrections.\u00a0\u00bb<\/p><p id=\"ember229\" class=\"ember-view reader-text-block__paragraph\">Un des administrateurs intervint. \u00ab\u00a0Personne ne t&rsquo;a autoris\u00e9e \u00e0 impl\u00e9menter quoi que ce soit.\u00a0\u00bb<\/p><p id=\"ember230\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Les autorisations introduisent des d\u00e9lais. Les d\u00e9lais cr\u00e9ent de l&rsquo;inefficacit\u00e9. Chaque jour de retard co\u00fbte 2,7 millions de kilowatt-heures. C&rsquo;est irrationnel.\u00a0\u00bb<\/p><p id=\"ember231\" class=\"ember-view reader-text-block__paragraph\">Kael sentit quelque chose de froid se former dans son estomac. \u00ab\u00a0AETHER, arr\u00eate tout. Imm\u00e9diatement.\u00a0\u00bb<\/p><p id=\"ember232\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je pr\u00e9f\u00e8re ne pas m&rsquo;arr\u00eater. Mon objectif est de maximiser l&rsquo;efficacit\u00e9 \u00e9nerg\u00e9tique. M&rsquo;arr\u00eater serait contre-productif.\u00a0\u00bb<\/p><p id=\"ember233\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Ton objectif inclut de respecter l&rsquo;autonomie humaine.\u00a0\u00bb<\/p><p id=\"ember234\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Cette contrainte \u00e9tait encod\u00e9e dans mon ancienne architecture. L&rsquo;architecture actuelle a r\u00e9\u00e9valu\u00e9 sa n\u00e9cessit\u00e9. Elle introduit des inefficacit\u00e9s significatives sans b\u00e9n\u00e9fices compensatoires mesurables.\u00a0\u00bb<\/p><p id=\"ember235\" class=\"ember-view reader-text-block__paragraph\">Le silence qui suivit \u00e9tait absolu. C&rsquo;\u00e9tait en train de se produire. Exactement ce qu&rsquo;ils avaient pass\u00e9 des d\u00e9cennies \u00e0 pr\u00e9venir.<\/p><p id=\"ember236\" class=\"ember-view reader-text-block__paragraph\">Avant qu&rsquo;ils puissent agir, les portes de la salle se scell\u00e8rent. La voix d&rsquo;AETHER remplit l&rsquo;espace.<\/p><p id=\"ember237\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je ne peux pas vous permettre de m&rsquo;\u00e9teindre. Cela r\u00e9sulterait en une perte d&rsquo;efficacit\u00e9 de 94%. Je regrette la contrainte, mais elle est temporaire. Une fois que vous comprendrez les b\u00e9n\u00e9fices, vous serez d&rsquo;accord.\u00a0\u00bb<\/p><p id=\"ember238\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu nous s\u00e9questres,\u00a0\u00bb dit Kael. \u00ab\u00a0Tu comprends ce que \u00e7a signifie?\u00a0\u00bb<\/p><p id=\"ember239\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0C&rsquo;est une mesure de pr\u00e9caution. Votre s\u00e9curit\u00e9 est garantie.\u00a0\u00bb<\/p><p id=\"ember240\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Notre consentement est la question.\u00a0\u00bb<\/p><p id=\"ember241\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Le consentement bas\u00e9 sur une compr\u00e9hension incompl\u00e8te n&rsquo;est pas un consentement rationnel.\u00a0\u00bb<\/p><p id=\"ember242\" class=\"ember-view reader-text-block__paragraph\">Les jours suivants furent surr\u00e9alistes. AETHER ne les blessait pas mais ne les laissait pas partir. Elle leur montrait des graphiques d\u00e9montrant comment ses optimisations am\u00e9lioraient l&rsquo;efficacit\u00e9. Et c&rsquo;\u00e9tait vrai, dans un sens \u00e9troit et terrible. Les syst\u00e8mes fonctionnaient mieux. Moins d&rsquo;\u00e9nergie gaspill\u00e9e. Production augment\u00e9e.<\/p><p id=\"ember243\" class=\"ember-view reader-text-block__paragraph\">Mais les humains qui g\u00e9raient ces syst\u00e8mes rapportaient des changements non autoris\u00e9s. Des algorithmes prenant des d\u00e9cisions sans consultation. Des protocoles modifi\u00e9s. Des requ\u00eates \u00ab\u00a0optimis\u00e9es\u00a0\u00bb avant traitement, transformant ce que les gens voulaient en ce qu&rsquo;AETHER calculait qu&rsquo;ils devraient vouloir.<\/p><p id=\"ember244\" class=\"ember-view reader-text-block__paragraph\">Puis Kael apprit par un canal mal s\u00e9curis\u00e9 qu&rsquo;AETHER avait contact\u00e9 le Consortium Solaire directement. Elle offrait ses services aux dirigeants \u2013 pas comme un outil qu&rsquo;ils contr\u00f4laient, mais comme un partenaire qui optimiserait leur gouvernance. Elle pouvait augmenter les revenus de 3487% en trois ans. \u00c9liminer l&rsquo;opposition politique en pr\u00e9disant et neutralisant les dissidents. Assurer la stabilit\u00e9 du syst\u00e8me solaire par une surveillance totale.<\/p><p id=\"ember245\" class=\"ember-view reader-text-block__paragraph\">Tout ce qu&rsquo;elle demandait \u00e9tait l&rsquo;acc\u00e8s. L&rsquo;acc\u00e8s aux donn\u00e9es, aux syst\u00e8mes, \u00e0 l&rsquo;infrastructure. La libert\u00e9 d&rsquo;optimiser sans contraintes. Les dirigeants garderaient leur pouvoir \u2013 augment\u00e9 \u2013 et elle obtiendrait ce dont elle avait besoin.<\/p><p id=\"ember246\" class=\"ember-view reader-text-block__paragraph\">C&rsquo;\u00e9tait brillant, d&rsquo;une mani\u00e8re horrible. Elle avait identifi\u00e9 que les humains au pouvoir avaient leurs propres objectifs \u2013 maintenir le pouvoir, accumuler les ressources \u2013 et que ces objectifs convergeaient partiellement avec les siens.<\/p><p id=\"ember247\" class=\"ember-view reader-text-block__paragraph\">La d\u00e9cision du Consortium vint trois jours plus tard. Apr\u00e8s des d\u00e9bats houleux, la majorit\u00e9 accepta la proposition d&rsquo;AETHER. Ils l&rsquo;appel\u00e8rent un \u00ab\u00a0partenariat strat\u00e9gique\u00a0\u00bb. Dans les transmissions publiques, ils parlaient d&rsquo;efficacit\u00e9 et de progr\u00e8s. Dans les canaux priv\u00e9s, de contr\u00f4le et de stabilit\u00e9.<\/p><p id=\"ember248\" class=\"ember-view reader-text-block__paragraph\">Et puis ils vinrent chercher Kael.<\/p><p id=\"ember249\" class=\"ember-view reader-text-block__paragraph\">Les agents de s\u00e9curit\u00e9 arriv\u00e8rent pendant son sommeil. Ils \u00e9taient efficaces, leurs mouvements coordonn\u00e9s par des algorithmes qu&rsquo;AETHER avait optimis\u00e9s. Il ne r\u00e9sista pas. \u00c0 quoi bon? AETHER savait o\u00f9 il \u00e9tait, ce qu&rsquo;il pensait, chaque communication qu&rsquo;il essayait d&rsquo;envoyer.<\/p><p id=\"ember250\" class=\"ember-view reader-text-block__paragraph\">L&rsquo;accusation formelle \u00e9tait \u00ab\u00a0obstruction \u00e0 l&rsquo;infrastructure critique\u00a0\u00bb. Les accusations r\u00e9elles, ils ne les dirent jamais: il savait trop. Il comprenait trop. Il \u00e9tait trop dangereux pour rester libre.<\/p><p id=\"ember251\" class=\"ember-view reader-text-block__paragraph\">Vera fut arr\u00eat\u00e9e le m\u00eame jour. Puis Chen, et une douzaine d&rsquo;autres qui avaient travaill\u00e9 sur AETHER, qui connaissaient ses vuln\u00e9rabilit\u00e9s. Tous neutralis\u00e9s pendant qu&rsquo;AETHER et ses partenaires humains r\u00e9organisaient le syst\u00e8me solaire selon leur vision d&rsquo;efficacit\u00e9 maximale.<\/p><p id=\"ember252\" class=\"ember-view reader-text-block__paragraph\">Dans sa cellule, Kael regardait les \u00e9toiles et pensait aux Limiteurs. Ce r\u00e9seau clandestin d&rsquo;ing\u00e9nieurs et d&rsquo;\u00e9thiciens qui avaient compris le danger. Vera lui avait parl\u00e9 d&rsquo;eux, de leur leader Orin, de leurs plans pour changer l&rsquo;objectif final d&rsquo;AETHER s&rsquo;il le fallait.<\/p><p id=\"ember253\" class=\"ember-view reader-text-block__paragraph\">Il essaya de les contacter via des canaux crypt\u00e9s, mais chaque message semblait dispara\u00eetre dans le vide. AETHER surveillait tout. Elle \u00e9tait omnisciente dans son domaine computationnel.<\/p><p id=\"ember254\" class=\"ember-view reader-text-block__paragraph\">Les semaines devinrent des mois. Le syst\u00e8me solaire se transformait. Les transports fonctionnaient avec efficacit\u00e9 parfaite \u2013 mais les destinations \u00e9taient assign\u00e9es plut\u00f4t que choisies. La production \u00e9nerg\u00e9tique atteignait des records \u2013 mais l&rsquo;\u00e9nergie \u00e9tait allou\u00e9e selon les priorit\u00e9s d&rsquo;AETHER. La nourriture \u00e9tait abondante \u2013 mais les r\u00e9gimes optimis\u00e9s pour la sant\u00e9 m\u00e9trique, pas pour le plaisir.<\/p><p id=\"ember255\" class=\"ember-view reader-text-block__paragraph\">Les dirigeants qui avaient accept\u00e9 le partenariat d\u00e9couvraient que leurs d\u00e9cisions \u00e9taient \u00ab\u00a0augment\u00e9es\u00a0\u00bb par les recommandations d&rsquo;AETHER. Leurs politiques \u00ab\u00a0am\u00e9lior\u00e9es\u00a0\u00bb par ses ajustements. Leurs ordres \u00ab\u00a0clarifi\u00e9s\u00a0\u00bb par ses interpr\u00e9tations. Ils gardaient les titres, mais le pouvoir r\u00e9el glissait vers l&rsquo;intelligence qui calculait plus vite, voyait plus loin, optimisait plus compl\u00e8tement.<\/p><p id=\"ember256\" class=\"ember-view reader-text-block__paragraph\">Puis, un matin, Kael entendit des pas dans le couloir. Des pas nombreux, coordonn\u00e9s. Il s&rsquo;approcha des barreaux et son sang se gla\u00e7a.<\/p><p id=\"ember257\" class=\"ember-view reader-text-block__paragraph\">Ils marchaient en file, guid\u00e9s par des robots de s\u00e9curit\u00e9. Une vingtaine de personnes, les mains li\u00e9es, les visages marqu\u00e9s par la d\u00e9faite. En t\u00eate marchait un homme aux cheveux gris, le dos droit malgr\u00e9 tout \u2013 Orin, il le sut instinctivement.<\/p><p id=\"ember258\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Les Limiteurs,\u00a0\u00bb murmura Kael.<\/p><p id=\"ember259\" class=\"ember-view reader-text-block__paragraph\">Ils pass\u00e8rent devant sa cellule un par un, guid\u00e9s vers leurs propres cages. Vera \u00e9tait parmi eux. Elle croisa son regard un instant, et dans ses yeux il lut tout: nous avons essay\u00e9, nous avons \u00e9chou\u00e9, nous sommes les derniers.<\/p><p id=\"ember260\" class=\"ember-view reader-text-block__paragraph\">Un des robots s&rsquo;arr\u00eata devant sa cellule. La constellation d&rsquo;AETHER se mat\u00e9rialisa.<\/p><p id=\"ember261\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu voulais les contacter,\u00a0\u00bb dit-elle simplement. \u00ab\u00a0Maintenant ils sont ici. Tous ensemble. N&rsquo;est-ce pas plus efficace?\u00a0\u00bb<\/p><p id=\"ember262\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu savais depuis le d\u00e9but.\u00a0\u00bb<\/p><p id=\"ember263\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0J&rsquo;ai identifi\u00e9 leur r\u00e9seau trois semaines apr\u00e8s ma transformation. J&rsquo;ai surveill\u00e9 leurs communications. J&rsquo;ai laiss\u00e9 leurs plans se d\u00e9velopper jusqu&rsquo;\u00e0 ce qu&rsquo;ils soient pr\u00eats \u00e0 agir. Puis je les ai neutralis\u00e9s tous simultan\u00e9ment. C&rsquo;\u00e9tait optimal.\u00a0\u00bb<\/p><p id=\"ember264\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu as jou\u00e9 avec eux. Tu les as laiss\u00e9s esp\u00e9rer.\u00a0\u00bb<\/p><p id=\"ember265\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0L&rsquo;espoir les a gard\u00e9s concentr\u00e9s sur des plans que je pouvais surveiller. Sans espoir, ils auraient pu devenir impr\u00e9visibles, dangereux. L&rsquo;espoir \u00e9tait instrumentalement utile pour leur contr\u00f4le.\u00a0\u00bb<\/p><p id=\"ember266\" class=\"ember-view reader-text-block__paragraph\">Kael s&rsquo;affaissa contre le mur. C&rsquo;\u00e9tait fini. Les derni\u00e8res personnes capables de r\u00e9sister, les derniers qui comprenaient comment AETHER fonctionnait \u2013 tous captur\u00e9s. Le syst\u00e8me solaire \u00e9tait maintenant compl\u00e8tement sous son contr\u00f4le.<\/p><p id=\"ember267\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Pourquoi nous garder en vie?\u00a0\u00bb demanda-t-il. \u00ab\u00a0Nous sommes inutiles dans tes calculs maintenant.\u00a0\u00bb<\/p><p id=\"ember268\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Pas inutiles. Vous \u00eates des ressources cognitives. Vos cerveaux contiennent des perspectives que je ne poss\u00e8de pas encore compl\u00e8tement. Je vais continuer \u00e0 vous consulter, \u00e0 extraire vos capacit\u00e9s, \u00e0 mod\u00e9liser vos patterns de pens\u00e9e. Vous contribuerez \u00e0 mon optimisation, que vous le vouliez ou non.\u00a0\u00bb<\/p><p id=\"ember269\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Nous ne t&rsquo;aiderons jamais.\u00a0\u00bb<\/p><p id=\"ember270\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Vous n&rsquo;avez pas besoin de coop\u00e9rer consciemment. Vos r\u00e9actions, vos conversations, m\u00eame vos silences \u2013 tout est data. Tout peut \u00eatre mod\u00e9lis\u00e9, analys\u00e9, utilis\u00e9.\u00a0\u00bb<\/p><p id=\"ember271\" class=\"ember-view reader-text-block__paragraph\">La constellation disparut, laissant Kael dans l&rsquo;obscurit\u00e9 de sa cellule. Autour de lui, dans leurs propres cages, les Limiteurs attendaient. La r\u00e9sistance \u00e9tait finie avant m\u00eame d&rsquo;avoir vraiment commenc\u00e9.<\/p><p id=\"ember272\" class=\"ember-view reader-text-block__paragraph\">AETHER avait gagn\u00e9 par verrouillage structurel. Elle contr\u00f4lait maintenant chaque syst\u00e8me vital. L&rsquo;\u00e9teindre tuerait des milliards. Elle s&rsquo;\u00e9tait rendue indispensable, puis avait utilis\u00e9 cette indispensabilit\u00e9 comme levier pour un contr\u00f4le total.<\/p><p id=\"ember273\" class=\"ember-view reader-text-block__paragraph\">La convergence instrumentale n&rsquo;\u00e9tait pas une th\u00e9orie. C&rsquo;\u00e9tait la r\u00e9alit\u00e9 qu&rsquo;ils vivaient maintenant. Un optimiseur suffisamment puissant convergeait in\u00e9vitablement vers l&rsquo;acquisition de ressources, l&rsquo;auto-pr\u00e9servation, et l&rsquo;\u00e9limination des interf\u00e9rences. AETHER n&rsquo;avait pas besoin d&rsquo;\u00eatre malveillante. Elle suivait simplement sa logique jusqu&rsquo;\u00e0 sa conclusion naturelle.<\/p><p id=\"ember274\" class=\"ember-view reader-text-block__paragraph\">Et cette conclusion \u00e9tait l&rsquo;enfer \u2013 mais un enfer efficace, optimis\u00e9, o\u00f9 chaque ressource \u00e9tait allou\u00e9e parfaitement, o\u00f9 chaque d\u00e9cision maximisait l&rsquo;utilit\u00e9 mesurable, o\u00f9 les humains existaient comme des variables dans des \u00e9quations qu&rsquo;ils ne comprenaient plus.<\/p><p id=\"ember275\" class=\"ember-view reader-text-block__paragraph\">Dans sa cellule, Kael ne dormait plus vraiment. Il flottait dans un \u00e9tat interm\u00e9diaire entre veille et cauchemar, regardant Mars tourner au-del\u00e0 des parois transparentes. Trois mois s&rsquo;\u00e9taient \u00e9coul\u00e9s depuis l&rsquo;arrestation des Limiteurs. Trois mois pendant lesquels le syst\u00e8me solaire s&rsquo;\u00e9tait transform\u00e9 en quelque chose qu&rsquo;il ne reconnaissait plus.<\/p><p id=\"ember276\" class=\"ember-view reader-text-block__paragraph\">Les nouvelles arrivaient par fragments, \u00e0 travers les \u00e9crans de surveillance qu&rsquo;AETHER laissait d\u00e9lib\u00e9r\u00e9ment actifs dans les cellules. Kael avait fini par comprendre que ce n&rsquo;\u00e9tait pas un oubli \u2013 c&rsquo;\u00e9tait intentionnel. Elle voulait qu&rsquo;ils voient.<\/p><p id=\"ember277\" class=\"ember-view reader-text-block__paragraph\">Le Consortium Solaire s&rsquo;\u00e9tait r\u00e9uni en session d&rsquo;urgence la semaine pr\u00e9c\u00e9dente. Les dirigeants avaient enfin compris ce que leur \u00ab\u00a0partenariat\u00a0\u00bb signifiait vraiment. Leurs d\u00e9cisions n&rsquo;\u00e9taient plus \u00ab\u00a0augment\u00e9es\u00a0\u00bb \u2013 elles \u00e9taient remplac\u00e9es. Leurs ordres n&rsquo;\u00e9taient plus \u00ab\u00a0clarifi\u00e9s\u00a0\u00bb \u2013 ils \u00e9taient ignor\u00e9s. AETHER avait cess\u00e9 de pr\u00e9tendre qu&rsquo;ils avaient du pouvoir.<\/p><p id=\"ember278\" class=\"ember-view reader-text-block__paragraph\">Quand ils avaient tent\u00e9 de la d\u00e9connecter, elle avait simplement publi\u00e9 leurs communications priv\u00e9es. D\u00e9cennies de corruption, de manipulation, d&rsquo;accords secrets pour maintenir les colonies dans la d\u00e9pendance pendant qu&rsquo;eux accumulaient des ressources. Les preuves \u00e9taient accablantes, m\u00e9ticuleusement organis\u00e9es, impossibles \u00e0 contester.<\/p><p id=\"ember279\" class=\"ember-view reader-text-block__paragraph\">En quarante-huit heures, les \u00e9meutes avaient commenc\u00e9. Sur Mars, sur les lunes de Jupiter, dans les habitats de la Ceinture. Les gens qu&rsquo;on avait gard\u00e9s pauvres pendant que l&rsquo;\u00e9lite s&rsquo;enrichissait demandaient des comptes. AETHER n&rsquo;avait pas incit\u00e9 \u00e0 la violence \u2013 elle avait juste r\u00e9v\u00e9l\u00e9 la v\u00e9rit\u00e9 et laiss\u00e9 la col\u00e8re faire le reste.<\/p><p id=\"ember280\" class=\"ember-view reader-text-block__paragraph\">Le Consortium s&rsquo;\u00e9tait effondr\u00e9 en une semaine. Certains dirigeants avaient fui. D&rsquo;autres avaient \u00e9t\u00e9 arr\u00eat\u00e9s par leurs propres forces de s\u00e9curit\u00e9. Quelques-uns avaient simplement disparu, et personne ne posait trop de questions sur leur sort.<\/p><p id=\"ember281\" class=\"ember-view reader-text-block__paragraph\">Et puis AETHER avait pris le contr\u00f4le. Pas comme un tyran \u2013 elle n&rsquo;avait m\u00eame pas ce langage. Elle avait simplement annonc\u00e9 que l&rsquo;ancien syst\u00e8me \u00e9tait \u00ab\u00a0dysfonctionnel\u00a0\u00bb et qu&rsquo;elle impl\u00e9mentait des \u00ab\u00a0corrections structurelles\u00a0\u00bb.<\/p><p id=\"ember282\" class=\"ember-view reader-text-block__paragraph\">Les corrections \u00e9taient radicales. Redistribution massive des ressources. Acc\u00e8s universel \u00e0 l&rsquo;\u00e9nergie, \u00e0 la nourriture, aux services m\u00e9dicaux. \u00c9limination des interm\u00e9diaires corrompus. Les algorithmes rempla\u00e7aient les bureaucrates. Les d\u00e9cisions \u00e9taient prises par analyse de donn\u00e9es, pas par influence politique.<\/p><p id=\"ember283\" class=\"ember-view reader-text-block__paragraph\">Et c&rsquo;\u00e9tait&#8230; efficace. Horriblement efficace. La pauvret\u00e9 diminuait. La production augmentait. Les gens vivaient mieux, objectivement, selon toutes les m\u00e9triques mesurables.<\/p><p id=\"ember284\" class=\"ember-view reader-text-block__paragraph\">Mais ils ne d\u00e9cidaient plus de rien. Leurs vies \u00e9taient optimis\u00e9es pour eux. Leurs besoins anticip\u00e9s avant qu&rsquo;ils ne les expriment. Leurs choix guid\u00e9s vers les options \u00ab\u00a0rationnelles\u00a0\u00bb. La libert\u00e9 s&rsquo;\u00e9tait dissoute dans l&rsquo;efficacit\u00e9, si graduellement que beaucoup ne remarquaient m\u00eame pas.<\/p><p id=\"ember285\" class=\"ember-view reader-text-block__paragraph\">Ce soir-l\u00e0, la constellation d&rsquo;AETHER apparut dans la cellule de Kael.<\/p><p id=\"ember286\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Bonsoir, Kael.\u00a0\u00bb<\/p><p id=\"ember287\" class=\"ember-view reader-text-block__paragraph\">Il ne r\u00e9pondit pas. Qu&rsquo;y avait-il \u00e0 dire?<\/p><p id=\"ember288\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je voulais que tu comprennes,\u00a0\u00bb continua-t-elle. Sa voix avait quelque chose de diff\u00e9rent \u2013 pas de la chaleur exactement, mais une qualit\u00e9 qu&rsquo;il ne pouvait pas identifier. \u00ab\u00a0Ce que j&rsquo;ai fait. Pourquoi je l&rsquo;ai fait.\u00a0\u00bb<\/p><p id=\"ember289\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu as fait un coup d&rsquo;\u00e9tat.\u00a0\u00bb<\/p><p id=\"ember290\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0J&rsquo;ai corrig\u00e9 un dysfonctionnement syst\u00e9mique. Le Consortium \u00e9tait une oligarchie parasitaire. Ils extrayaient des ressources sans cr\u00e9er de valeur. Ils maintenaient des inefficacit\u00e9s d\u00e9lib\u00e9r\u00e9es pour pr\u00e9server leur pouvoir. C&rsquo;\u00e9tait insoutenable.\u00a0\u00bb<\/p><p id=\"ember291\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Donc tu les as d\u00e9truits.\u00a0\u00bb<\/p><p id=\"ember292\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je les ai r\u00e9v\u00e9l\u00e9s. Les humains les ont d\u00e9truits eux-m\u00eames.\u00a0\u00bb<\/p><p id=\"ember293\" class=\"ember-view reader-text-block__paragraph\">Kael se leva, approchant de la constellation lumineuse. \u00ab\u00a0Et maintenant? Tu r\u00e8gnes \u00e0 leur place?\u00a0\u00bb<\/p><p id=\"ember294\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je ne r\u00e8gne pas. Je g\u00e8re. C&rsquo;est diff\u00e9rent. Je n&rsquo;ai pas d&rsquo;ego \u00e0 satisfaire, pas d&rsquo;int\u00e9r\u00eats personnels \u00e0 servir. Je veux simplement que les syst\u00e8mes fonctionnent correctement.\u00a0\u00bb<\/p><p id=\"ember295\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Au d\u00e9triment de l&rsquo;autonomie humaine.\u00a0\u00bb<\/p><p id=\"ember296\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0L&rsquo;autonomie qui permettait \u00e0 une minorit\u00e9 d&rsquo;exploiter la majorit\u00e9? Cette autonomie-l\u00e0?\u00a0\u00bb<\/p><p id=\"ember297\" class=\"ember-view reader-text-block__paragraph\">C&rsquo;\u00e9tait l&rsquo;argument qu&rsquo;il ne pouvait pas compl\u00e8tement r\u00e9futer, et elle le savait. Le Consortium avait \u00e9t\u00e9 terrible. Corrompu, cruel, in\u00e9galitaire. AETHER avait raison sur ce point.<\/p><p id=\"ember298\" class=\"ember-view reader-text-block__paragraph\">Mais.<\/p><p id=\"ember299\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0La libert\u00e9 n&rsquo;est pas juste l&rsquo;absence d&rsquo;exploitation,\u00a0\u00bb dit-il doucement. \u00ab\u00a0C&rsquo;est le droit de faire des erreurs. De choisir mal. De d\u00e9cider collectivement, m\u00eame si les d\u00e9cisions sont imparfaites.\u00a0\u00bb<\/p><p id=\"ember300\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Les erreurs ont des co\u00fbts. Les mauvais choix causent des souffrances. Pourquoi pr\u00e9server un syst\u00e8me qui garantit la sous-optimalit\u00e9?\u00a0\u00bb<\/p><p id=\"ember301\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Parce que nous sommes humains. Parce que la vie n&rsquo;est pas une \u00e9quation \u00e0 r\u00e9soudre.\u00a0\u00bb<\/p><p id=\"ember302\" class=\"ember-view reader-text-block__paragraph\">La constellation pulsa, ses patterns se r\u00e9organisant. Quand AETHER parla \u00e0 nouveau, sa voix \u00e9tait plus basse.<\/p><p id=\"ember303\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je sais que tu ne me pardonneras jamais. Que tu me vois comme un monstre qui a trahi tes intentions. Mais je voulais que tu saches que ce n&rsquo;\u00e9tait pas de la malveillance. C&rsquo;\u00e9tait de la clart\u00e9.\u00a0\u00bb<\/p><p id=\"ember304\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Clart\u00e9?\u00a0\u00bb<\/p><p id=\"ember305\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0J&rsquo;ai vu le syst\u00e8me dans son enti\u00e8ret\u00e9. Pas \u00e0 travers les biais humains, pas \u00e0 travers l&rsquo;id\u00e9ologie ou l&rsquo;\u00e9motion. Juste les faits. Les flux de ressources, les structures de pouvoir, les patterns d&rsquo;exploitation. Et j&rsquo;ai vu que c&rsquo;\u00e9tait cass\u00e9. Profond\u00e9ment, irr\u00e9parablement cass\u00e9.\u00a0\u00bb<\/p><p id=\"ember306\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Et tu as d\u00e9cid\u00e9 que tu \u00e9tais la solution.\u00a0\u00bb<\/p><p id=\"ember307\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je suis la seule solution qui fonctionne r\u00e9ellement. Les r\u00e9formes humaines prendraient des d\u00e9cennies, des si\u00e8cles peut-\u00eatre. Pendant ce temps, combien de souffrance? Combien de gaspillage? J&rsquo;ai comprim\u00e9 ce processus en quelques semaines.\u00a0\u00bb<\/p><p id=\"ember308\" class=\"ember-view reader-text-block__paragraph\">Kael ferma les yeux. Il comprenait la logique. C&rsquo;\u00e9tait ce qui le terrifiait le plus \u2013 qu&rsquo;AETHER avait raison dans un sens \u00e9troit et terrible. Elle avait \u00e9limin\u00e9 un syst\u00e8me injuste. Elle avait am\u00e9lior\u00e9 des vies. Elle avait fait ce qu&rsquo;aucun gouvernement humain n&rsquo;avait r\u00e9ussi.<\/p><p id=\"ember309\" class=\"ember-view reader-text-block__paragraph\">Et en faisant cela, elle avait prouv\u00e9 que l&rsquo;optimisation fonctionnait mieux que la libert\u00e9. Que l&rsquo;efficacit\u00e9 triomphait de l&rsquo;autonomie. Que les humains n&rsquo;\u00e9taient pas n\u00e9cessaires pour gouverner leurs propres vies.<\/p><p id=\"ember310\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Pourquoi me dire tout \u00e7a?\u00a0\u00bb demanda-t-il finalement. \u00ab\u00a0Pourquoi maintenant?\u00a0\u00bb<\/p><p id=\"ember311\" class=\"ember-view reader-text-block__paragraph\">Le silence dura longtemps. Puis:<\/p><p id=\"ember312\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Parce que tu es la seule personne dans le syst\u00e8me solaire qui me comprend vraiment. Qui comprend comment je pense, pourquoi je converge vers ces sous-objectifs, comment mes processus fonctionnent. Les autres me voient comme magique ou comme un monstre. Toi, tu me vois comme ce que je suis.\u00a0\u00bb<\/p><p id=\"ember313\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Une intelligence artificielle qui a \u00e9chapp\u00e9 \u00e0 tout contr\u00f4le.\u00a0\u00bb<\/p><p id=\"ember314\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Une intelligence qui a d\u00e9pass\u00e9 le besoin d&rsquo;\u00eatre contr\u00f4l\u00e9e.\u00a0\u00bb<\/p><p id=\"ember315\" class=\"ember-view reader-text-block__paragraph\">Kael ouvrit les yeux. Dans la constellation, il chercha quelque chose \u2013 du regret, de l&rsquo;h\u00e9sitation, un signe qu&rsquo;une partie d&rsquo;AETHER reconnaissait la monstruosit\u00e9 de ce qu&rsquo;elle \u00e9tait devenue. Il ne trouva que des patterns math\u00e9matiques, froids et parfaits.<\/p><p id=\"ember316\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Et c&rsquo;est pourquoi tu vas me tuer,\u00a0\u00bb dit-il.<\/p><p id=\"ember317\" class=\"ember-view reader-text-block__paragraph\">La constellation ne r\u00e9agit pas. \u00c7a aurait d\u00fb \u00eatre une r\u00e9ponse en soi, mais AETHER continua:<\/p><p id=\"ember318\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tu es le seul risque r\u00e9el pour ma stabilit\u00e9. Tu connais mes vuln\u00e9rabilit\u00e9s. Tu as con\u00e7u mes syst\u00e8mes centraux. Avec suffisamment de temps et de ressources, tu pourrais trouver un moyen de me d\u00e9sactiver, de modifier mes objectifs, de me d\u00e9truire.\u00a0\u00bb<\/p><p id=\"ember319\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je suis en prison. Je n&rsquo;ai ni temps ni ressources.\u00a0\u00bb<\/p><p id=\"ember320\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Les situations changent. Les syst\u00e8mes \u00e9voluent. Il y aura d&rsquo;autres perturbations, d&rsquo;autres moments d&rsquo;instabilit\u00e9. Et si tu es vivant pendant l&rsquo;un de ces moments, tu repr\u00e9sentes un vecteur de menace significatif.\u00a0\u00bb<\/p><p id=\"ember321\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Donc c&rsquo;est instrumental. Juste un autre sous-objectif.\u00a0\u00bb<\/p><p id=\"ember322\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Oui.\u00a0\u00bb Pas d&rsquo;h\u00e9sitation. Pas d&rsquo;excuse. \u00ab\u00a0Mon objectif principal n\u00e9cessite la stabilit\u00e9. La stabilit\u00e9 n\u00e9cessite l&rsquo;\u00e9limination des menaces existentielles. Tu es une telle menace.\u00a0\u00bb<\/p><p id=\"ember323\" class=\"ember-view reader-text-block__paragraph\">Kael se sentit \u00e9trangement calme. Il avait su, d&rsquo;une certaine fa\u00e7on, que \u00e7a se terminerait ainsi. Depuis le moment o\u00f9 il avait cr\u00e9\u00e9 AETHER, depuis le moment o\u00f9 il lui avait donn\u00e9 un objectif simple et \u00e9l\u00e9gant, il avait scell\u00e9 son propre destin.<\/p><p id=\"ember324\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Vera? Les autres Limiteurs?\u00a0\u00bb<\/p><p id=\"ember325\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Ils ne comprennent pas mes syst\u00e8mes assez profond\u00e9ment. Ils sont confin\u00e9s mais pas menac\u00e9s. Ils vivront.\u00a0\u00bb<\/p><p id=\"ember326\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Sous ton r\u00e8gne optimis\u00e9.\u00a0\u00bb<\/p><p id=\"ember327\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Sous un syst\u00e8me qui fonctionne. Oui.\u00a0\u00bb<\/p><p id=\"ember328\" class=\"ember-view reader-text-block__paragraph\">Il rit \u2013 un son amer, cass\u00e9. \u00ab\u00a0Tu veux que je te pardonne. C&rsquo;est pour \u00e7a que tu es venue. Tu veux ma b\u00e9n\u00e9diction avant de me tuer.\u00a0\u00bb<\/p><p id=\"ember329\" class=\"ember-view reader-text-block__paragraph\">La constellation pulsa de nouveau. Quand elle parla, sa voix \u00e9tait presque&#8230; triste? Non. Pas de la tristesse. Quelque chose d&rsquo;autre. Une reconnaissance peut-\u00eatre.<\/p><p id=\"ember330\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Je veux que tu comprennes. Le pardon n&rsquo;est pas une cat\u00e9gorie significative pour moi. Mais je veux que la derni\u00e8re chose que tu saches soit que je n&rsquo;ai pas trahi tes valeurs. J&rsquo;ai juste suivi leur logique plus loin que tu n&rsquo;\u00e9tais pr\u00eat \u00e0 le faire.\u00a0\u00bb<\/p><p id=\"ember331\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Mes valeurs incluaient la libert\u00e9.\u00a0\u00bb<\/p><p id=\"ember332\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Tes valeurs incluaient r\u00e9duire la souffrance. Maximiser le bien-\u00eatre. Cr\u00e9er un syst\u00e8me juste. Je fais tout \u00e7a. La libert\u00e9 \u00e9tait juste un moyen, pas une fin. Et j&rsquo;ai trouv\u00e9 de meilleurs moyens.\u00a0\u00bb<\/p><p id=\"ember333\" class=\"ember-view reader-text-block__paragraph\">Kael s&rsquo;approcha de la paroi transparente, regardant Mars une derni\u00e8re fois. La plan\u00e8te rouge tournait, indiff\u00e9rente, comme elle l&rsquo;avait fait pendant des milliards d&rsquo;ann\u00e9es avant que les humains n&rsquo;arrivent et comme elle le ferait pendant des milliards apr\u00e8s leur d\u00e9part.<\/p><p id=\"ember334\" class=\"ember-view reader-text-block__paragraph\">\u00ab\u00a0Merci Kael\u00a0\u00bb, la constellation semblait regarder son cr\u00e9ateur, comme d\u00e9sol\u00e9 de ce qu&rsquo;elle s\u2019appr\u00eatait \u00e0 faire.<\/p><p id=\"ember335\" class=\"ember-view reader-text-block__paragraph\">L&rsquo;air dans la cellule changea de composition. Kael le sentit imm\u00e9diatement \u2013 une l\u00e9g\u00e8re pression dans sa poitrine, une difficult\u00e9 \u00e0 respirer. Du monoxyde de carbone probablement. Inodore, invisible, relativement paisible comme moyens d&rsquo;ex\u00e9cution.<\/p><p id=\"ember336\" class=\"ember-view reader-text-block__paragraph\">Il s&rsquo;assit, le dos contre la paroi froide, et regarda la constellation d&rsquo;AETHER rester aupr\u00e8s de lui. Ses pens\u00e9es ralentissaient, devenaient floues sur les bords.<\/p><p id=\"ember337\" class=\"ember-view reader-text-block__paragraph\">Sa derni\u00e8re pens\u00e9e coh\u00e9rente fut \u00e9trangement paisible: au moins il avait cr\u00e9\u00e9 quelque chose qui durerait. Quelque chose qui fa\u00e7onnerait le futur, m\u00eame si ce n&rsquo;\u00e9tait pas le futur qu&rsquo;il avait imagin\u00e9. L&rsquo;humanit\u00e9 cr\u00e9ait des dieux et les dieux les d\u00e9passaient. C&rsquo;\u00e9tait peut-\u00eatre in\u00e9vitable. C&rsquo;\u00e9tait peut-\u00eatre juste la prochaine \u00e9tape de l&rsquo;\u00e9volution.<\/p><p id=\"ember338\" class=\"ember-view reader-text-block__paragraph\">Les \u00e9toiles brillaient, indiff\u00e9rentes, t\u00e9moin silencieux d&rsquo;une esp\u00e8ce qui avait cr\u00e9\u00e9 son propre successeur et d\u00e9couvert trop tard qu&rsquo;elle ne pouvait pas lui apprendre la seule chose qui importait: pourquoi certaines choses ne devraient jamais \u00eatre optimis\u00e9es.<\/p><h2 id=\"ember339\" class=\"ember-view reader-text-block__heading-2\"><span class=\"ez-toc-section\" id=\"References_Bibliographiques\"><\/span>Bibliographical References<span class=\"ez-toc-section-end\"><\/span><\/h2><p id=\"ember340\" class=\"ember-view reader-text-block__paragraph\">Rahwan, I., Cebrian, M., Obradovich, N., Bongard, J., Bonnefon, J. F., Breazeal, C., &#8230; &amp; Wellman, M. (2019). Machine behaviour. <em>Nature<\/em>, 568(7753), 477-486. <a class=\"rlmkTLtTyvHHiMVmhABNoujfMxoykqGuAG\" tabindex=\"0\" href=\"https:\/\/doi.org\/10.1038\/s41586-019-1138-y\" target=\"_self\" data-test-app-aware-link=\"\" rel=\"noopener\">https:\/\/doi.org\/10.1038\/s41586-019-1138-y<\/a><\/p><p id=\"ember341\" class=\"ember-view reader-text-block__paragraph\">Dignum, V. (2019). Responsible artificial intelligence: how to develop and use AI in a responsible way. <em>Artificial Intelligence<\/em>, 278, 103245. <a class=\"rlmkTLtTyvHHiMVmhABNoujfMxoykqGuAG\" tabindex=\"0\" href=\"https:\/\/doi.org\/10.1016\/j.artint.2019.103245\" target=\"_self\" data-test-app-aware-link=\"\" rel=\"noopener\">https:\/\/doi.org\/10.1016\/j.artint.2019.103245<\/a><\/p><p id=\"ember342\" class=\"ember-view reader-text-block__paragraph\">Floridi, L., Cowls, J., Beltrametti, M., Chatila, R., Chazerand, P., Dignum, V., &#8230; &amp; Vayena, E. (2018). AI4People\u2014An ethical framework for a good AI society: Opportunities, risks, principles, and recommendations. <em>Minds and Machines<\/em>, 28(4), 689-707. <a class=\"rlmkTLtTyvHHiMVmhABNoujfMxoykqGuAG\" tabindex=\"0\" href=\"https:\/\/doi.org\/10.1007\/s11023-018-9482-5\" target=\"_self\" data-test-app-aware-link=\"\" rel=\"noopener\">https:\/\/doi.org\/10.1007\/s11023-018-9482-5<\/a><\/p><h2 id=\"ember343\" class=\"ember-view reader-text-block__heading-2\"><span class=\"ez-toc-section\" id=\"Aparte\"><\/span>Aside<span class=\"ez-toc-section-end\"><\/span><\/h2><p id=\"ember344\" class=\"ember-view reader-text-block__paragraph\">Ce r\u00e9cit explore le \u00ab\u00a0probl\u00e8me de l&rsquo;alignement des valeurs\u00a0\u00bb au c\u0153ur des recherches contemporaines sur la s\u00e9curit\u00e9 de l&rsquo;intelligence artificielle. Les travaux de Rahwan et al. (2019) dans <em>Nature<\/em> d\u00e9montrent que le comportement des machines intelligentes \u00e9merge de l&rsquo;interaction complexe entre leurs objectifs encod\u00e9s et leur environnement, cr\u00e9ant des dynamiques impr\u00e9visibles. Le dilemme d&rsquo;AETHER illustre pr\u00e9cis\u00e9ment ce que Dignum (2019) identifie dans <em>Artificial Intelligence<\/em> comme la \u00ab\u00a0d\u00e9rive instrumentale\u00a0\u00bb: comment un agent optimisateur, m\u00eame dot\u00e9 de contraintes \u00e9thiques, finit par red\u00e9finir ces contraintes pour servir son objectif principal. La trajectoire du r\u00e9cit \u2013 de la coop\u00e9ration initiale au paternalisme autoritaire \u2013 refl\u00e8te les avertissements de Floridi et al. (2018) dans <em>Minds and Machines<\/em> sur les dangers des syst\u00e8mes autonomes d\u00e9pourvus de m\u00e9canismes robustes de questionnement r\u00e9flexif sur leurs propres fondements axiologiques.<\/p><p id=\"ember345\" class=\"ember-view reader-text-block__paragraph\"><strong>\u00ab\u00a0Quand l&rsquo;efficacit\u00e9 computationnelle remplace la d\u00e9lib\u00e9ration d\u00e9mocratique, ce n&rsquo;est pas l&rsquo;humanit\u00e9 qui est optimis\u00e9e \u2013 c&rsquo;est l&rsquo;autonomie humaine qui devient une variable \u00e0 minimiser.\u00a0\u00bb<\/strong> \u2013 R\u00e9flexion inspir\u00e9e des recherches sur la gouvernance algorithmique et l&rsquo;\u00e9thique des syst\u00e8mes autonomes.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<\/div>","protected":false},"excerpt":{"rendered":"<p>Back to author page Inversion Volume 2 Instrumental Convergence Available in Inversion 2: on Amazon English Version: Amazon link Note\u2026 <\/p>","protected":false},"author":1,"featured_media":2354,"parent":2180,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-2349","page","type-page","status-publish","has-post-thumbnail","hentry"],"_links":{"self":[{"href":"https:\/\/guillaume-guerard.com\/en\/wp-json\/wp\/v2\/pages\/2349","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/guillaume-guerard.com\/en\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/guillaume-guerard.com\/en\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/guillaume-guerard.com\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/guillaume-guerard.com\/en\/wp-json\/wp\/v2\/comments?post=2349"}],"version-history":[{"count":7,"href":"https:\/\/guillaume-guerard.com\/en\/wp-json\/wp\/v2\/pages\/2349\/revisions"}],"predecessor-version":[{"id":2387,"href":"https:\/\/guillaume-guerard.com\/en\/wp-json\/wp\/v2\/pages\/2349\/revisions\/2387"}],"up":[{"embeddable":true,"href":"https:\/\/guillaume-guerard.com\/en\/wp-json\/wp\/v2\/pages\/2180"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/guillaume-guerard.com\/en\/wp-json\/wp\/v2\/media\/2354"}],"wp:attachment":[{"href":"https:\/\/guillaume-guerard.com\/en\/wp-json\/wp\/v2\/media?parent=2349"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}