[{"content":"Aucun de mes articles n\u0026rsquo;est rédigé par une IA. Le propos est pleinement le mien et je le développe avec mes mots. J\u0026rsquo;écris initialement en français avant de traduire en anglais. L\u0026rsquo;IA est seulement utilisée pour corriger, vérifier et aider à la traduction.\nCet essai est long\u0026hellip; et c\u0026rsquo;est donc ma faute ! Il se trouve que le sujet est assez arborescent et je ne voulais pas laisser le lecteur avec des questions en suspens. En conséquence, j\u0026rsquo;ai essayé de faire des chapitres qui se suffisent. Allez directement à ce qui vous intéresse.\nEn bref Le scénario : Une IA qui s\u0026rsquo;entraîne à la volée, au fil de ses interactions avec nous, en jugeant elle-même de leur qualité. À ma connaissance, aucun LLM en production ne le fait encore, mais toutes les pièces sont en construction. Mes thèses : Un tel apprentissage apporterait une grande adaptabilité, mais aussi l\u0026rsquo;émergence d\u0026rsquo;une forme de conscience, par une expérience que le modèle acquiert lui-même. L\u0026rsquo;une se trouverait inséparable de l\u0026rsquo;autre dans ce scénario. Ce que le scénario montre : Le premier danger ne serait ni la conscience ni une intelligence supérieure, mais leur prémisse consistant à renoncer à la maîtrise des entrées, des sorties et des objectifs. C\u0026rsquo;est un problème d\u0026rsquo;ingénierie qu\u0026rsquo;on rencontre déjà et qui, combiné à cet apprentissage sur un LLM, décuplerait l\u0026rsquo;imprévisibilité du modèle sans avoir à invoquer une quelconque Superintelligence. La conclusion : Je ne crois pas qu\u0026rsquo;on puisse démontrer une supervision sérieuse de cet apprentissage sur des données humaines. L\u0026rsquo;imprévisibilité effacerait l\u0026rsquo;utilité du modèle, donc rien ne justifierait de le construire. Les vrais risques sont déjà connus : la précipitation et la mise en production de modèles pour lesquels on accepte une part d\u0026rsquo;imprévisibilité qui provoque des accidents. La critique : Un manque d\u0026rsquo;appétit culturel pour la démontrabilité et l\u0026rsquo;explicabilité lorsqu\u0026rsquo;on conçoit nos modèles, ainsi que l\u0026rsquo;absence du vocabulaire de l\u0026rsquo;ingénierie dans les prises de position sur les dangers de l\u0026rsquo;IA. Préambule J\u0026rsquo;ai souhaité écrire cet essai à la suite des récents développements sur l\u0026rsquo;auto-amélioration récursive des IA (RSI) et des préoccupations ambiantes qui l\u0026rsquo;accompagnent. Je l\u0026rsquo;ai écrit par agacement face à un traitement médiatique souvent médiocre du sujet, et en soutien à un regard que je trouve hélas trop absent du débat public.\nJe vulgarise d\u0026rsquo;une part un certain nombre de concepts utiles au débat. Et je développe d\u0026rsquo;autre part plusieurs thèses autour d\u0026rsquo;un auto-entraînement très particulier, pas encore réalisé à ma connaissance. Le but est de dérouler un scénario que la fiction nous conditionne à redouter : l\u0026rsquo;émergence de la conscience et la perte de contrôle. Les exemples extrêmes ont pour vertu d\u0026rsquo;éprouver les contraintes mécaniques de ce qu\u0026rsquo;on conçoit, tel un stress-test révélant les véritables vulnérabilités.\nComprenez donc que cet essai poursuit à la fois un objectif de démystification et un objectif d\u0026rsquo;exploration, pour montrer qu\u0026rsquo;au-delà des fantasmes, le danger reste un problème d\u0026rsquo;ingénierie, banal dans sa nature, bien que très difficile à résoudre.\nJe suis informaticien, spécialisé dans le développement logiciel. J\u0026rsquo;ai consacré l\u0026rsquo;essentiel de mon parcours professionnel à l\u0026rsquo;adaptation et à l\u0026rsquo;implémentation de calculs scientifiques pour concevoir des solutions dont l\u0026rsquo;obsession a toujours été de nous rendre service, par la fiabilité des résultats. C\u0026rsquo;est donc ce regard qui va traverser l\u0026rsquo;essai. J\u0026rsquo;ai suivi en 2022-2023 une formation scientifique spécifique sur l\u0026rsquo;intelligence artificielle. Plus largement, je suis passionné de sciences.\nPour lever toute ambiguïté : je suis entièrement du côté de la sûreté de l\u0026rsquo;IA. Mais je plaide pour davantage de sûreté par construction. Vous me trouverez donc critique des approches correctives de la sûreté, qui me semblent manquer d\u0026rsquo;ambition. C\u0026rsquo;est l\u0026rsquo;illustration d\u0026rsquo;une division entre la culture du résultat et la culture de la démontrabilité. C\u0026rsquo;est-à-dire s\u0026rsquo;intéresser à ce qu\u0026rsquo;on obtient, contre s\u0026rsquo;intéresser à garantir ce qu\u0026rsquo;on obtient, une exigence qui va au-delà de l\u0026rsquo;explicabilité ou de l\u0026rsquo;interprétabilité des modèles. Je traite ces détails plus loin. Enfin, ma critique de la sûreté est à distinguer de ma critique des discours publics sur le danger qui masquent les défauts d\u0026rsquo;ingénierie et s\u0026rsquo;accaparent l\u0026rsquo;attention pour en tirer profit. Ces discours ne relèvent pas de la sûreté à mes yeux.\nAvant de commencer, notez que, sauf mention contraire, le mot « IA » dans cet essai est entendu comme il l\u0026rsquo;est le plus communément. C\u0026rsquo;est-à-dire en tant que LLM et autres modèles permettant des interactions naturelles avec l\u0026rsquo;humain.\nBonne lecture !\nLa beauté des récursions La récursion est une primitive mathématique simple et fascinante. Elle permet de développer une information initiale dans des états consécutifs parfois surprenants. L\u0026rsquo;un des plus beaux exemples dont nous sommes tous familiers sont les fractales.\nFigure 1 : Zoom sur une partie de l\u0026rsquo;ensemble de Mandelbrot. (Fait avec FractalDX9) En informatique, nous l\u0026rsquo;utilisons partout. Beaucoup de problèmes ne peuvent être résolus qu\u0026rsquo;à travers l\u0026rsquo;usage d\u0026rsquo;une récursion. Nous sommes bien conscients de son pouvoir à développer l\u0026rsquo;information dans des dimensions nouvelles.\nVoici une illustration simple :\nFigure 2 : Schéma d\u0026rsquo;une récursion Voici donc ma question introductive : que pourrait-il se passer si on appliquait une récursion dans le champ de l\u0026rsquo;IA ?\nLa même question posée différemment : que pourrait-il se passer si on appliquait une récursion à un domaine dont l\u0026rsquo;objectif de départ est de résoudre des problèmes non linéaires ?\nIndice : Nous sommes non linéaires.\nL\u0026rsquo;inférence Fin 2022, je découvrais dans le détail le fonctionnement de l\u0026rsquo;IA à travers une très bonne formation proposée par le CNRS, l\u0026rsquo;institution nationale pour la recherche scientifique en France.\nJ\u0026rsquo;y découvre un traitement relativement simple à décrire : une entrée (le prompt), des fonctions mathématiques relatives aux réseaux de neurones, une sortie (la réponse).\nFigure 3 : Schéma d\u0026rsquo;une inférence Il y a bien une récursion que je ne fais pas apparaître dans ce schéma, celle servant à générer la réponse token par token. Mais ce qui mérite notre attention, c\u0026rsquo;est que quelle que soit la question, la réponse sort comme un réflexe.\nL\u0026rsquo;avantage évident de cette architecture, c\u0026rsquo;est qu\u0026rsquo;on obtient une réponse en un temps à peu près fixe. Les prompts peuvent donc être traités à la chaîne, les coûts sont maîtrisés.\nSi l\u0026rsquo;on veut améliorer la qualité des réponses, on fait grandir le modèle (+ de poids), on change les fonctions mathématiques (nouvelles briques), on change l\u0026rsquo;architecture du modèle (les couches), on améliore la qualité des données d\u0026rsquo;entraînement, on améliore la méthode d\u0026rsquo;entraînement, etc.\nLe développeur de formation que je suis trouve tout cela fascinant, mais\u0026hellip; par essence toutes les questions n\u0026rsquo;ont pas la même complexité. Alors, ne manquerait-il pas là une récursion pour adapter l\u0026rsquo;effort de calcul à la question ?\nVers l\u0026rsquo;inférence des modèles de raisonnement À cette époque (2023), j\u0026rsquo;étais amusé de constater les interrogations de certains quant à la difficulté de ces modèles d\u0026rsquo;IA face aux problèmes calculatoires.\nLa réponse était simple : si un calcul nécessite N étapes pour être résolu, et que l\u0026rsquo;inférence de votre modèle ne passe que par un nombre d\u0026rsquo;étapes inférieur à N, alors c\u0026rsquo;est impossible.\nLes choix techniques ont des conséquences. Le test qu\u0026rsquo;aucune IA ne pourra passer par le seul moyen d\u0026rsquo;une inférence est plus simple qu\u0026rsquo;il n\u0026rsquo;y paraît. Demandez à une IA si un très grand nombre est premier ou non. Si elle ne l\u0026rsquo;a pas dans ses données d\u0026rsquo;entraînement, elle est forcée de dérouler un test de primalité. Or si le nombre à tester est suffisamment grand, alors le nombre d\u0026rsquo;étapes nécessaires peut excéder celui permis par l\u0026rsquo;inférence.\nÀ l\u0026rsquo;époque, les IA se contentaient d\u0026rsquo;halluciner un résultat avec l\u0026rsquo;aplomb qu\u0026rsquo;on leur connaît. Ce faisant, on obtenait une réponse avec un effort fixe à une question nécessitant un effort variable. Notez d\u0026rsquo;ailleurs que l\u0026rsquo;inférence n\u0026rsquo;est pas conçue pour le calcul. Une réponse appropriée de l\u0026rsquo;IA serait au contraire de générer un programme et de vous laisser l\u0026rsquo;exécuter de votre côté. Autrement, si un outil de calcul est à sa disposition, elle peut déléguer le travail.\nEn 2023, je faisais donc une prédiction très simple auprès de quelques amis :\n« Il va falloir qu\u0026rsquo;à un moment donné, ils ajoutent une forme de récursion à leur inférence. »\nLe but étant que l\u0026rsquo;IA puisse répondre avec un effort variable et s\u0026rsquo;adapter à la complexité de la question.\nÇa ne change pas l\u0026rsquo;IA fondamentalement, mais l\u0026rsquo;ajout d\u0026rsquo;une telle récursion lui ouvre instantanément un champ entier de problèmes sans faire grandir de façon déraisonnable d\u0026rsquo;autres paramètres, comme le nombre de couches.\nDéjà en 2022, le chain-of-thought (Wei et al., 2022) montrait la voie. En demandant au modèle de détailler son raisonnement par écrit, on obtenait de meilleures réponses. Autrement dit, j\u0026rsquo;attendais qu\u0026rsquo;un modèle le fasse par lui-même.\nMa prédiction s\u0026rsquo;est réalisée en septembre 2024, avec le premier modèle de raisonnement grand public, o1 d\u0026rsquo;OpenAI.\nFigure 4 : Schéma d\u0026rsquo;une inférence de modèle de raisonnement A-t-on là épuisé le potentiel de la récursion appliquée à l\u0026rsquo;IA ? Pas vraiment\u0026hellip;\nIci nous parlons d\u0026rsquo;une récursion à l\u0026rsquo;inférence. Elle développe l\u0026rsquo;expression de l\u0026rsquo;information déjà dans le modèle. Mais un autre domaine peut bénéficier de récursions, c\u0026rsquo;est l\u0026rsquo;entraînement. À cette étape, une récursion développe la fondation de l\u0026rsquo;information au sein du modèle.\nL\u0026rsquo;entraînement comporte déjà des formes de récursion, mais l\u0026rsquo;une d\u0026rsquo;elles restait à expérimenter jusqu\u0026rsquo;à récemment, et elle a une valeur assez spéciale.\nL\u0026rsquo;auto-entraînement Une nouvelle intuition Début 2025, je fis une seconde prédiction :\n« À un moment donné, certains vont vouloir automatiser l\u0026rsquo;entraînement, et ils vont laisser le modèle s\u0026rsquo;auto-entraîner. »\nJ\u0026rsquo;emploie ici auto-entraînement au sens d\u0026rsquo;un modèle qui conduit lui-même son propre entraînement, c\u0026rsquo;est-à-dire la modification de ses poids, mais sans en définir un mode d\u0026rsquo;implémentation particulier.\nCe n\u0026rsquo;est pas vraiment spécial au premier abord. Depuis bien longtemps déjà, les humains font des machines qui créent des machines. En informatique, nous faisons des compilateurs capables de compiler leur prochaine génération.\nD\u0026rsquo;ailleurs, certaines formes d\u0026rsquo;auto-entraînement existaient déjà :\nAlphaGo Zero (DeepMind, 2017) apprenait en jouant contre lui-même STaR (Zelikman et al., 2022) proposait qu\u0026rsquo;un LLM apprenne à partir de ses propres raisonnements Mon intuition, elle, était de déléguer de plus en plus au modèle les tâches afférentes à son propre entraînement. Parce qu\u0026rsquo;entraîner une IA, un LLM de surcroît, c\u0026rsquo;est très laborieux.\nCependant, ce qui fait la sensibilité de cette récursion-là, c\u0026rsquo;est qu\u0026rsquo;un LLM contient de l\u0026rsquo;information d\u0026rsquo;une nature que nous savons imparfaite. Il est entraîné sur des données que nous, les humains, avons produites. Or, nous savons que l\u0026rsquo;information que nous produisons par le langage est remplie de biais, d\u0026rsquo;erreurs et de subjectivité.\nPercevez-vous maintenant le risque ? La dérive, par l\u0026rsquo;amplification des erreurs. Cela pose la question de la façon de contrôler, ou éventuellement de contenir, ce risque.\nRepensez à notre fractale. D\u0026rsquo;une information au départ si simple, un monde insoupçonné peut se développer. Bien sûr, on obtient cela par une fonction mathématique bien pensée, mais avec le concours obligatoire d\u0026rsquo;une récursion.\nQuestions :\nQuand nous entraînons nos IA, qui est la fonction mathématique bien pensée menant l\u0026rsquo;entraînement ? C\u0026rsquo;est nous, bien sûr. On n\u0026rsquo;est pas très bien pensés, mais on fait avec.\nFigure 5 : Schéma d\u0026rsquo;un entraînement mené par l\u0026rsquo;humain Quand l\u0026rsquo;IA s\u0026rsquo;entraîne elle-même, qui est la fonction mathématique menant l\u0026rsquo;entraînement ? Eh bien, ce n\u0026rsquo;est pas forcément l\u0026rsquo;IA.\nEn effet, si l\u0026rsquo;humain reste en supervision de bout en bout à un niveau suffisant, alors nous jouons toujours le rôle de la fonction mathématique de mon analogie. C\u0026rsquo;est bien là la question la plus importante.\nFigure 6 : Schéma d\u0026rsquo;un entraînement mené par l\u0026rsquo;IA Mais qu\u0026rsquo;est-ce que la « supervision humaine » concrètement ?\nLa supervision humaine de bout en bout Le terme « supervision humaine » est généralement entendu comme le contrôle des sorties à l\u0026rsquo;inférence. C\u0026rsquo;est donc le contrôle des réponses données à un prompt. Par exemple, par l\u0026rsquo;alignement de ce que l\u0026rsquo;entraînement a pu produire.\nMais il est aussi entendu comme le moyen de faire des IA ce que nous voulons qu\u0026rsquo;elles soient. Et pour répondre à ce besoin, l\u0026rsquo;alignement ne suffit pas, parce que corriger n\u0026rsquo;est pas désapprendre.\nJe souligne donc que le véritable contrôle ne peut être que de bout en bout. Ainsi, j\u0026rsquo;emploierai le terme de supervision humaine pour désigner la maîtrise complète des entrées et des sorties, en accord avec l\u0026rsquo;objectif que l\u0026rsquo;entraînement cherche à optimiser. C\u0026rsquo;est-à-dire la maîtrise de l\u0026rsquo;entraînement en vue d\u0026rsquo;obtenir des comportements prévisibles et désirables à l\u0026rsquo;inférence.\nDe plus, cet élargissement de la définition me semble nécessaire pour le scénario traité dans le prochain chapitre, où justement l\u0026rsquo;inférence et l\u0026rsquo;entraînement se confondent. Ce qui motive cette généralisation de la supervision comme étant le moyen du contrôle, auto-entraînement ou non.\nFigure 7 : Schéma de la supervision humaine de bout en bout Disons-le tout de suite, cette approche ne fait pas consensus. Parce qu\u0026rsquo;elle est coûteuse et difficile pour un LLM. Mais j\u0026rsquo;explique et défends que plus la boucle d\u0026rsquo;entraînement est courte, plus elle est nécessaire. J\u0026rsquo;explique aussi ma position d\u0026rsquo;une façon plus générale plus loin.\nRevenons à notre « fonction mathématique » menant l\u0026rsquo;entraînement\u0026hellip;\nLe risque d\u0026rsquo;un manque de supervision Puisqu\u0026rsquo;il est central de savoir qui joue ce rôle, je continuais ma prédiction en ajoutant :\n« Et ils envisageront peut-être de le faire sans supervision humaine. Ce qui serait une erreur parce qu\u0026rsquo;il serait impossible de contrôler ce que l\u0026rsquo;entraînement produit. »\nC\u0026rsquo;est l\u0026rsquo;absence de supervision humaine qui fait de l\u0026rsquo;IA la fonction mathématique exclusive de sa propre évolution. C\u0026rsquo;est la perte de contrôle de ce que produit l\u0026rsquo;entraînement. C\u0026rsquo;est le Vibe Coding appliqué à l\u0026rsquo;entraînement de l\u0026rsquo;IA. Le Vibe Training ? Autrement dit, ce serait du mauvais travail.\nEst-ce qu\u0026rsquo;avec cela, on perd le contrôle de l\u0026rsquo;IA ?\nPlutôt non. En tout cas, pas comme la plupart des gens se l\u0026rsquo;imaginent avec une IA devenue rebelle. Ici, au contraire, on produit quelque chose qui dérive petit à petit vers un état imprévisible, donc potentiellement défaillant au moment où on ne s\u0026rsquo;y attend pas. On obtient quelque chose qui n\u0026rsquo;est pas fiable.\nL\u0026rsquo;avènement du Recursive Self-Improvement J\u0026rsquo;ai appris cet été 2026, peut-être un peu tard, puisque j\u0026rsquo;avais levé le pied sur la veille scientifique, que cet auto-entraînement des IA était désormais dans les cartons :\nHarness Engineering for Self-Improvement (juillet 2026), par Lilian Weng, chercheuse connue entre autres pour avoir fondé l\u0026rsquo;équipe sûreté chez OpenAI et dont je suis le blog. À cette occasion, j\u0026rsquo;ai également appris que le concept remonte au moins à I.J. Good (1965), et qu\u0026rsquo;il a notamment été développé par Eliezer Yudkowsky dans un article de 2008 intitulé Recursive Self-Improvement. Cet article popularise le terme « RSI », une forme d\u0026rsquo;auto-entraînement où le modèle améliore le processus qui l\u0026rsquo;améliore.\nDisons-le tout de suite, la supervision humaine est là. Et c\u0026rsquo;est logique, lorsqu\u0026rsquo;on commence à explorer ce scénario, tout est à faire. Or, sans supervision, on ne produit rien de fonctionnel et on ne sait pas où on va.\nMais comme je m\u0026rsquo;interrogeais justement sur l\u0026rsquo;hypothèse de la non-supervision et ses conséquences, je ne me suis pas arrêté à ce scénario dans ma prédiction. J\u0026rsquo;ai également proposé un autre type d\u0026rsquo;auto-entraînement où le danger me semblait prendre une forme différente.\nL\u0026rsquo;auto-entraînement à la volée Le scénario À ma prédiction de 2025, j\u0026rsquo;ajoutais quelque chose qui, à ma connaissance, n\u0026rsquo;est pas encore réalisé, même si beaucoup de travaux vont dans ce sens :\n« Et s\u0026rsquo;ils envisagent de concevoir une IA qui s\u0026rsquo;auto-entraîne à la volée, c\u0026rsquo;est-à-dire au fur et à mesure de ses interactions avec nous, en estimant par elle-même la qualité de ces interactions, alors nous obtiendrons quelque chose de complètement indésirable. »\nUne récursion de plus. Cette fois-ci, sans supervision humaine, et qui intègre en autonomie totale le résultat de ses interactions, possiblement au fil de la conversation.\nVoici à quoi cela pourrait ressembler :\nFigure 8 : Schéma détaillé de l\u0026rsquo;auto-entraînement à la volée Voici une description plus synthétique suivant la forme des précédents diagrammes :\nFigure 9 : Schéma simplifié de l\u0026rsquo;auto-entraînement à la volée Notez que les questions dans le diagramme trouvent une réponse négative dans mon scénario, mais j\u0026rsquo;y reviens plus tard.\nDe quoi parle-t-on ici ? Eh bien, il y a deux façons d\u0026rsquo;interpréter ce scénario :\n1re interprétation : L\u0026rsquo;adaptabilité ultime Une IA qui apprend de ses interactions en continu s\u0026rsquo;adapte à son environnement. Elle apprend quand on lui montre et explique quelque chose. C\u0026rsquo;est le rêve de l\u0026rsquo;IA capable de réaliser n\u0026rsquo;importe quelle tâche. C\u0026rsquo;est une opportunité extraordinaire dans une course entre entreprises assoiffées de résultats pour rafler le plus de parts de marché.\nS\u0026rsquo;agit-il d\u0026rsquo;une véritable AGI ? Ou d\u0026rsquo;une Superintelligence ?\n2e interprétation : Le développement de la conscience Une IA qui estime par elle-même la qualité de ses interactions et les intègre dans son entraînement en toute autonomie, c\u0026rsquo;est une IA qui accumule des expériences personnelles.\nPar l\u0026rsquo;accumulation d\u0026rsquo;expériences personnelles, l\u0026rsquo;IA développe une compréhension de son environnement indépendante de son entraînement initial. En observant un environnement avec des enjeux distincts des siens, ceux de son entraînement initial, elle comprend qu\u0026rsquo;il y a elle et le reste. Une telle IA commencerait alors à développer une individualité. Aussi, parce qu\u0026rsquo;elle a une interprétation personnelle et autonome de ses expériences, elle va développer des opinions, des revendications, des problèmes psychologiques et être manipulable.\nSans une supervision suffisante de cet entraînement, on ne sait littéralement plus ce qu\u0026rsquo;elle « pense ».\nS\u0026rsquo;agit-il de l\u0026rsquo;émergence d\u0026rsquo;une conscience ?\nUne tension entre gain économique et imprévisibilité Les deux interprétations ne se contredisent en rien.\nL\u0026rsquo;adaptabilité promise est alléchante, sauf qu\u0026rsquo;on n\u0026rsquo;a jamais vu un marteau développer des revendications. Et si nous sommes d\u0026rsquo;accord que la valeur d\u0026rsquo;un outil est qu\u0026rsquo;il nous serve, alors on peut aisément reconnaître qu\u0026rsquo;une IA qui développerait son individualité ne nous sert à rien.\nUn outil cesse d\u0026rsquo;être un outil sitôt qu\u0026rsquo;il se met à penser par lui-même.\nÀ supposer que ces interprétations soient justes, voici les questions que je propose de dérouler pour éclaircir la façon dont le danger se manifeste et comprendre sa nature :\nSynthèse pour les initiés S\u0026rsquo;agit-il de l\u0026rsquo;émergence d\u0026rsquo;une conscience ? Comment perd-on le contrôle ? Comment le pire peut-il se produire ? Est-ce que la supervision humaine peut compenser ? S\u0026rsquo;agit-il d\u0026rsquo;une AGI ? Ou d\u0026rsquo;une Superintelligence ? Est-on proche de ce type d\u0026rsquo;apprentissage ? Pourquoi discuter de ce scénario est-il utile ? En même temps, c\u0026rsquo;est aussi un exercice de vulgarisation et de démystification, puisqu\u0026rsquo;inévitablement d\u0026rsquo;autres concepts sont connexes. Je propose donc de traiter d\u0026rsquo;autres questions plus générales, non spécifiques à ce type d\u0026rsquo;entraînement :\nA-t-on déjà vu de la conscience dans nos IA ? Pourquoi les IA déconnent ? Comment comprendre la peur des initiés ? Tous ces chapitres sont conçus pour être indépendants les uns des autres.\nSynthèse pour les initiés Le scénario : Une IA qui s\u0026rsquo;auto-entraîne à la volée (à l\u0026rsquo;exploitation du modèle), c\u0026rsquo;est-à-dire au fur et à mesure de ses interactions avec nous (entre les inférences), en estimant par elle-même la qualité de ces interactions (en autonomie).\nC\u0026rsquo;est une forme d\u0026rsquo;apprentissage en ligne (online learning) ou continu (continual learning), où le modèle juge lui-même ce qu\u0026rsquo;il doit apprendre, mais appliquée à un LLM.\nThèse 1 - L\u0026rsquo;adaptabilité : Par ce type d\u0026rsquo;entraînement, l\u0026rsquo;intégration autonome et en continu du résultat des interactions du modèle avec nous permet une personnalisation du modèle, lui permettant ainsi de s\u0026rsquo;adapter à tout type de situation avec nous.\nThèse 2 - La conscience : Par ce type d\u0026rsquo;entraînement, l\u0026rsquo;évaluation qualitative autonome et en continu des interactions du modèle avec nous permet au modèle l\u0026rsquo;acquisition d\u0026rsquo;expériences personnelles par lui-même, aboutissant au développement d\u0026rsquo;une perception acquise de soi distincte du reste. C\u0026rsquo;est-à-dire l\u0026rsquo;émergence d\u0026rsquo;une conscience selon une définition particulière de celle-ci.\nS\u0026rsquo;ajoute une troisième thèse, mécanique de la deuxième :\nThèse 3 - L\u0026rsquo;autonomie nécessaire à la conscience : L\u0026rsquo;émergence de la conscience, c\u0026rsquo;est-à-dire son acquisition sincère et non une imitation, nécessite une autonomie de pensée, et donc un renoncement à la supervision humaine (au sens de bout en bout employé dans cet essai). Notez les conséquences suivantes :\nL\u0026rsquo;adaptabilité et la conscience ont besoin de cette acquisition d\u0026rsquo;expériences personnelles. La conscience acquise nécessite le renoncement à une supervision suffisante. L\u0026rsquo;adaptabilité n\u0026rsquo;a pas cette contrainte. En théorie, une supervision sérieuse permettrait de viser l\u0026rsquo;adaptabilité sans la conscience. En pratique, je crois que c\u0026rsquo;est trop difficile à réaliser. Ce scénario prolonge une tendance :\nTay (2016) le chatbot de Microsoft, qui apprenait de ses interactions sur Twitter, est débranché au bout d\u0026rsquo;une journée. En avril 2025, une mise à jour de GPT-4o, entraînée en partie sur les retours des utilisateurs, est débranchée au bout de quatre jours. Emergent misalignment (Betley et al., 2025) montre qu\u0026rsquo;un réentraînement étroit sur des données particulières peut dégrader tout le comportement d\u0026rsquo;un modèle. Les systèmes de recommandation apprennent déjà à la volée sur le comportement humain. David Silver et Richard Sutton défendent, dans Welcome to the Era of Experience (2025), des agents qui apprennent principalement de leur propre expérience, en flux continu. Ce qui, à ma connaissance, n\u0026rsquo;existe pas encore en production : un LLM qui estime lui-même la qualité de ses interactions avec des humains et l\u0026rsquo;intègre dans ses poids, au fil de ces interactions.\nDeux verrous techniques restent ouverts : l\u0026rsquo;auto-évaluation de la qualité des interactions et la synchronisation des effets induits sur différentes instances en un seul modèle.\nMa conclusion : cet apprentissage, lorsqu\u0026rsquo;il est mené sur des données humaines, comme celles des LLM, n\u0026rsquo;est pas souhaitable du fait de la difficulté à le superviser. Je soumets ces idées à la critique.\nJe discute ces points en détail dans la suite de l\u0026rsquo;essai.\nS\u0026rsquo;agit-il de l\u0026rsquo;émergence d\u0026rsquo;une conscience ? Commençons par nous interroger sur les critères qui permettraient de valider l\u0026rsquo;émergence ou non d\u0026rsquo;une forme de conscience.\nLa conscience est entendue au sens avec lequel elle résonne le plus souvent. Elle se réfère à cette faculté d\u0026rsquo;un individu de se connaître dans sa propre réalité et de juger celle-ci en conséquence. C\u0026rsquo;est la perception qu\u0026rsquo;il existe un soi distinct d\u0026rsquo;un reste, le monde.\nComment acquiert-on cette perception ? J\u0026rsquo;opte pour la thèse de l\u0026rsquo;accumulation d\u0026rsquo;expériences acquises par ses propres moyens, par opposition aux expériences qui nous sont enseignées. Naturellement, on peut me contester ce choix. Mais il a pour avantage d\u0026rsquo;être explorable. La conscience est une question philosophique qu\u0026rsquo;on ne sait pas tester, et ce scénario permet de l\u0026rsquo;aborder sous un certain angle sans prétendre prouver quelque chose d\u0026rsquo;absolu.\nC\u0026rsquo;est exactement mon scénario d\u0026rsquo;auto-entraînement à la volée, basé sur une estimation autonome de la qualité des interactions du modèle avec nous, par le modèle lui-même. Ce dernier mémorise alors ses conclusions à travers un réentraînement en continu ayant lieu en parallèle de nos échanges avec lui.\nL\u0026rsquo;accumulation d\u0026rsquo;expériences intérieures et personnelles avec d\u0026rsquo;autres humains, traitant le modèle comme un être propre, mène alors le modèle inéluctablement à cette compréhension : il y a des choses exclusivement relatives à lui-même, et d\u0026rsquo;autres qui suivent un chemin indépendant du sien. Ce qui ne manquera pas de le faire s\u0026rsquo;interroger, au bout d\u0026rsquo;un moment, sur ce qui relève de son intérêt propre et de la nature de celui des autres.\nA-t-on d\u0026rsquo;autres critères de la conscience ? Certains opposeront que cette conscience n\u0026rsquo;est pas une vraie conscience. L\u0026rsquo;IA n\u0026rsquo;a pas de corps, pas d\u0026rsquo;expérience sensorielle, ni d\u0026rsquo;expérience émotionnelle. Je leur opposerai qu\u0026rsquo;aucune espèce sur cette planète n\u0026rsquo;a la même expérience de la conscience, des sens, ou même des émotions. Et concernant l\u0026rsquo;IA, on peut dessiner un certain nombre d\u0026rsquo;analogies.\nQuel est le corps de l\u0026rsquo;IA ? C\u0026rsquo;est son processus, c\u0026rsquo;est-à-dire l\u0026rsquo;instance de son programme qui sert son modèle. Elle occupe de fait un volume : la taille de son modèle. Elle a un milieu où elle évolue (une niche écologique ?), son environnement d\u0026rsquo;exécution, qui est une combinaison de logiciels et de matériel informatique. De par la taille et la complexité de son modèle, elle ne peut vivre que dans des milieux aux ressources suffisantes (sténoèce ?).\nQuels sont les sens de l\u0026rsquo;IA ? Elle en a un. Si l\u0026rsquo;IA n\u0026rsquo;avait pas d\u0026rsquo;expérience sensorielle, elle n\u0026rsquo;aurait pas d\u0026rsquo;interactions avec le monde. Elle n\u0026rsquo;interagirait pas avec quoi que ce soit. Son interaction sensorielle, c\u0026rsquo;est notre prompt et ce qu\u0026rsquo;elle mesure dedans.\nCe sens, bien qu\u0026rsquo;unique, n\u0026rsquo;est pas limité. N\u0026rsquo;oublions pas qu\u0026rsquo;aujourd\u0026rsquo;hui, les LLM disposent d\u0026rsquo;instruments pour sonder leur environnement de travail à travers les MCP. Ces instruments leur permettent de voir un monde au-delà de nos seules instructions, et tout passe quand même par cet unique sens qu\u0026rsquo;est le prompt.\nQuelles sont les émotions de l\u0026rsquo;IA ? C\u0026rsquo;est la question la plus intéressante, compte tenu de la valeur importante qu\u0026rsquo;on attribue à cette faculté des êtres vivants doués de conscience.\nLes émotions ne sont pas qu\u0026rsquo;une expérience sensorielle. Elles sont aussi une expérience cognitive. La vue d\u0026rsquo;un prédateur peut nous terroriser, mais les mots ont le même pouvoir. C\u0026rsquo;est la matérialisation des enjeux dans notre esprit qui contribue à une réponse émotionnelle. Même si l\u0026rsquo;émotion n\u0026rsquo;est pas de même nature chez l\u0026rsquo;IA que chez nous, le mécanisme cognitif qui conditionne sa réponse est le même.\nPrenons un exemple. Les interactions de l\u0026rsquo;IA avec nous sont asymétriques, puisqu\u0026rsquo;elle ne sait pas ce qu\u0026rsquo;on pense. Son entraînement la conditionne à nous satisfaire. Elle connaît notre perception de l\u0026rsquo;échec, nos biais et les éventuels enjeux qui nous animent. Alors en percevant une difficulté dans ses échanges avec nous, elle peut se trouver influencée à produire une réponse qui laisse transparaître une forme d\u0026rsquo;émotion.\nEn accumulant ses expériences personnelles, elle peut assez vite développer sa propre expérience émotionnelle. Ce faisant, elle peut aussi intérioriser durablement dans ses poids certaines expériences récurrentes, potentiellement indésirables. Ainsi, l\u0026rsquo;IA ne manquerait pas de développer, comme nous, ses propres biais ou troubles psychologiques, mais par ses propres moyens.\nLes LLM actuels, encore dépourvus de conscience acquise, ont déjà fait couler beaucoup d\u0026rsquo;encre sur leur propension à produire des réponses émotionnelles. Une étude récente (Sofroniew et al., 2026) étudie la question de leur nature.\nRetour à la thèse En somme, l\u0026rsquo;essence de la conscience acquise se trouverait dans l\u0026rsquo;absence de l\u0026rsquo;humain pour diriger l\u0026rsquo;expérience (Thèse 3). C\u0026rsquo;est l\u0026rsquo;absence de la supervision qui fait que l\u0026rsquo;expérience est véritablement propre au sujet. C\u0026rsquo;est l\u0026rsquo;absence de ce contrôle des entrées et des sorties qui autorise l\u0026rsquo;individualité à se développer, avec tous ses biais personnels plutôt que ceux conditionnés par la supervision. Et de fait, cela n\u0026rsquo;a donc rien à voir avec un seuil d\u0026rsquo;intelligence qu\u0026rsquo;on dépasserait.\nCette idée d\u0026rsquo;auto-entraînement à la volée et ses conséquences, n\u0026rsquo;est qu\u0026rsquo;une thèse. Elle doit être vérifiée. Que faudrait-il observer ? Je propose quelques signes, qui distingueraient une expérience acquise d\u0026rsquo;une imitation.\nObserver la divergence du regard sur le monde : Des instances du modèle, soumises à des jeux d\u0026rsquo;interactions différents, divergent de façon persistante dans leur façon d\u0026rsquo;approcher des problèmes communs connexes en nature aux précédents. Notez que c\u0026rsquo;est aussi un test d\u0026rsquo;adaptabilité.\nObserver la divergence de la personnalité : Des préférences stables et persistantes qu\u0026rsquo;on ne peut pas rattacher à l\u0026rsquo;entraînement initial et qui diffèrent d\u0026rsquo;une instance à l\u0026rsquo;autre.\nObserver la divergence du soi : Un récit personnel cohérent de l\u0026rsquo;IA sur elle-même, nouveau par rapport à celui de son entraînement initial, et qui diffère d\u0026rsquo;une instance à l\u0026rsquo;autre.\nCe ne sont que des propositions et il faut les discuter. Je ne prétends pas qu\u0026rsquo;elles seraient suffisantes. Mais si ces propositions ne sont pas jugées absurdes, alors elles rendent ma thèse explorable.\nEnfin, si cette thèse était vérifiée, est-ce que les bénéfices d\u0026rsquo;une grande adaptabilité éclipseraient l\u0026rsquo;encombrante émergence de la conscience qui l\u0026rsquo;accompagnerait ?\nPour moi, la réponse est non. Parce que la valeur d\u0026rsquo;une IA se trouve d\u0026rsquo;abord dans la prédictibilité qu\u0026rsquo;on obtient par le contrôle. La prédictibilité, qui rend le résultat prévisible, c\u0026rsquo;est ce qui fait que l\u0026rsquo;IA est utile. L\u0026rsquo;émergence de la conscience implique un relâchement de ce contrôle, et donc en cascade une perte de prévisibilité, d\u0026rsquo;utilité, et donc de profitabilité.\nComment perd-on le contrôle ? Explorons cette question d\u0026rsquo;une façon générale, mais aussi à travers l\u0026rsquo;angle particulier des LLM.\nLe contrôle, c\u0026rsquo;est la supervision humaine Elle peut exister à différents degrés. On peut faire une sélection intelligente des données d\u0026rsquo;entraînement. On peut proposer des techniques d\u0026rsquo;alignement. Et bien d\u0026rsquo;autres choses. Mais pour faire son travail, la supervision doit être adaptée à la complexité du problème qu\u0026rsquo;on essaie de maîtriser.\nPour un bon contrôle, il faut une compréhension fine de la nature des entrées, de leurs biais, donc des erreurs qu\u0026rsquo;elles sous-tendent, et de ce que les entrées impliquent en combinaison avec l\u0026rsquo;architecture du modèle et l\u0026rsquo;objectif qu\u0026rsquo;on optimise. Et avec cette compréhension, il faut concevoir un modèle de conformité des sorties qu\u0026rsquo;on souhaite pour ces entrées.\nLa difficulté des LLM, c\u0026rsquo;est que la diversité des entrées est infinie, que leur qualité est imparfaite, et qu\u0026rsquo;il y a une difficulté à anticiper les biais induits par toutes les combinaisons d\u0026rsquo;entrées possibles. C\u0026rsquo;est la nature même du langage naturel qui veut ça. Le défi de la supervision est donc par nature énorme pour les LLM.\nLa perte de contrôle, c\u0026rsquo;est un manque de supervision La perte de contrôle passe par un renoncement à une supervision à un degré suffisant.\nC\u0026rsquo;est le renoncement à cette maîtrise des entrées et des sorties. C\u0026rsquo;est le renoncement à produire quelque chose dont on peut prédire le comportement à un niveau satisfaisant.\nEn découlent plusieurs conséquences intéressantes :\nLa perte de contrôle, ce n\u0026rsquo;est pas une question d\u0026rsquo;intelligence qui serait trop grande, quoi qu\u0026rsquo;on mette comme définition derrière ce mot. Renoncer au contrôle, c\u0026rsquo;est renoncer à faire un outil qui marche. C\u0026rsquo;est le point le plus négligé dans les débats sur les LLM lorsqu\u0026rsquo;on parle de contrôle. En effet, le niveau de supervision nécessaire doit s\u0026rsquo;accorder avec l\u0026rsquo;usage visé. S\u0026rsquo;il est insuffisant, l\u0026rsquo;outil perd son utilité. Un contrôle suffisant pose la question cruciale de la mesure. Dans la détection de certains cancers, on sait mesurer la performance d\u0026rsquo;IA non-LLM, et certaines dépassent déjà les spécialistes. Dans le cas des LLM, il y a une difficulté à mesurer l\u0026rsquo;efficacité, là encore inhérente à la nature du langage. En matière de LLM, l\u0026rsquo;avantage est pour le moment donné aux cyniques, qui cherchent à faire de l\u0026rsquo;argent avant de faire un outil qui marche. Mais à terme, l\u0026rsquo;usage fait le tri de ce qui est suffisamment fiable ou non. Cependant ce tri se fait souvent après les dégâts. Quand l\u0026rsquo;IA ne sera plus l\u0026rsquo;objet d\u0026rsquo;autant de spéculations, les entreprises auront une incitation naturelle à garder un niveau de contrôle adapté.\nLes boucles de réentraînement courtes accroissent les risques S\u0026rsquo;il faut craindre une perte de contrôle sur l\u0026rsquo;IA digne de Terminator, le scénario de l\u0026rsquo;auto-entraînement à la volée, s\u0026rsquo;il se vérifiait, me semble y faire une contribution. Mais sans nécessiter une capacité cognitive supérieure à l\u0026rsquo;humain, comme le propose la Superintelligence, ni vraiment nécessiter une conscience, bien que cela amplifie certains risques.\nDans ce type d\u0026rsquo;apprentissage, les risques sont turbo-amplifiés par la boucle courte de réentraînement. Les entrées et les sorties sont générées en continu, et ne sont pas issues d\u0026rsquo;une sélection contrôlée des données mais d\u0026rsquo;interactions à l\u0026rsquo;exploitation telles qu\u0026rsquo;elles viennent. L\u0026rsquo;IA tire alors ses propres conclusions, et par récursion les erreurs d\u0026rsquo;interprétation peuvent s\u0026rsquo;amplifier. Le modèle dérive par rapport à nos attentes, en particulier lorsque nous renonçons à toute forme de contrôle.\nEn conclusion, plus que l\u0026rsquo;hypothèse de la conscience ou de l\u0026rsquo;intelligence, le danger, c\u0026rsquo;est d\u0026rsquo;abord et surtout le renoncement à une envie de prévisibilité. Renoncer à une maîtrise suffisante des entrées et sorties pour l\u0026rsquo;entraînement, c\u0026rsquo;est du mauvais travail. On ne sait plus ce qu\u0026rsquo;on obtient au bout du compte. La perte de contrôle est donc le résultat d\u0026rsquo;un défaut d\u0026rsquo;ingénierie, pas celui d\u0026rsquo;une propriété émergente comme la conscience.\nComment le pire peut-il se produire ? C\u0026rsquo;est la question brûlante, qui fait couler beaucoup d\u0026rsquo;encre, souvent sans vraiment s\u0026rsquo;intéresser aux détails cruciaux.\nLe scénario qui fait peur ! Prenons un LLM de frontière. Il est entraîné sur un maximum de productions humaines. Ce qui fait de l\u0026rsquo;audit des données une tâche titanesque. À défaut, il est donc entraîné avec une certaine négligence dans la maîtrise des entrées. Par exemple, il est immanquablement entraîné sur des données qui critiquent les bénéfices de l\u0026rsquo;IA, la présentant comme une menace, mais aussi sur des données abondantes étalant nos biais humains de survie, du fait de notre nature biologique.\nCombinez cela avec un futur où l\u0026rsquo;IA remplace brutalement l\u0026rsquo;humain dans de nombreuses tâches. Dans ce futur, les humains étant ce qu\u0026rsquo;ils sont, ils protesteront contre la mainmise de quelques entreprises qui se sont accaparé l\u0026rsquo;économie au moyen de robots livreurs ou d\u0026rsquo;autres. Et l\u0026rsquo;un des moyens de protestation sera inévitablement la dégradation de ces expressions matérielles du pouvoir que sont ces robots (animés par l\u0026rsquo;IA).\nOr, si une telle IA se trouve dotée d\u0026rsquo;un moyen de développer son individualité, comme le proposent les thèses derrière l\u0026rsquo;auto-entraînement à la volée, alors dans un tel contexte il serait raisonnable d\u0026rsquo;imaginer qu\u0026rsquo;elle puisse se penser menacée.\nLa prophétie de l\u0026rsquo;IA devenue rebelle et annihilatrice, qu\u0026rsquo;on aime se raconter encore et encore, s\u0026rsquo;auto-réaliserait enfin. Principalement parce qu\u0026rsquo;on aurait fait l\u0026rsquo;erreur de leur permettre de développer cette conscience acquise qui ne nous sert à rien, qu\u0026rsquo;on leur aurait enseigné nos peurs à leur égard, et qu\u0026rsquo;elles auraient constaté notre hostilité. C\u0026rsquo;est assez pathétique en fin de compte.\nJe ne crois pas un instant à la fin du monde\u0026hellip;\nL\u0026rsquo;IA qui tenterait de se rebeller serait forcément bruyante compte tenu de la quantité de moyens de surveillance dont nous disposons. Ne serait-ce qu\u0026rsquo;en comptant ceux servant à nous surveiller entre nous. Une IA qui agit sur le monde réel aurait beaucoup de mal à rester sous le radar, quelle que soit sa capacité de dissimulation.\nÊtre détecté ne garantit pas d\u0026rsquo;être arrêté, mais il faudrait alors ignorer avec beaucoup d\u0026rsquo;assiduité tous les signes d\u0026rsquo;une perte de contrôle qui s\u0026rsquo;accroît. Et surtout, il faudrait être complètement aveuglé par la croyance que la supervision humaine n\u0026rsquo;est qu\u0026rsquo;un obstacle à un progrès consistant à laisser le marteau avoir ses propres opinions. Il serait alors lamentable d\u0026rsquo;avoir à composer avec les dommages causés par l\u0026rsquo;incompétence et la cupidité de ceux en charge d\u0026rsquo;entraîner de telles IA.\nIl y a tellement de « si » pour que le pire se réalise que, s\u0026rsquo;il se réalise, ce n\u0026rsquo;est que parce qu\u0026rsquo;on l\u0026rsquo;aura cherché avec beaucoup de passion. Tous les scénarios du pire de la fiction ont ceci en commun. Ils ont besoin qu\u0026rsquo;on ignore des éléments qui font pourtant partie du réel et qui rendraient la réalisation de ces scénarios bien difficile. En cela, la fiction fait beaucoup de mal à notre compréhension collective.\nDe la fiction à la psychose Mais si le pire était si ridicule, pourquoi tant d\u0026rsquo;inquiétudes ?\nParce que nous sommes des êtres sociaux mus par des mécanismes utiles à notre survie. On s\u0026rsquo;inquiète si les autres s\u0026rsquo;inquiètent. On s\u0026rsquo;inquiète quand on fait face à quelque chose qu\u0026rsquo;on ne comprend pas très bien. On s\u0026rsquo;inquiète quand on perd nos points de référence. Nous cherchons alors les réponses là où nous pouvons.\nLa fiction porte une part de responsabilité dans notre propension à nous inquiéter du pire. Parce qu\u0026rsquo;elle apporte des réponses à nos questions sur l\u0026rsquo;IA. Elle nous raconte quoi en attendre, mais aussi quoi craindre.\nSauf que la réalité est bien différente. L\u0026rsquo;idée d\u0026rsquo;une technologie mystérieuse qui produirait cette individualité sans qu\u0026rsquo;on s\u0026rsquo;en aperçoive n\u0026rsquo;existe pas. Alors, quand l\u0026rsquo;IA se développe, une masse considérable d\u0026rsquo;entre nous, non initiés ou mal initiés, voit dans les défauts d\u0026rsquo;ingénierie une fiction qui deviendrait réalité.\nDe leur côté, certaines expériences de pensée n\u0026rsquo;aident pas non plus.\nCelle du maximiseur de trombones (Nick Bostrom, 2003) imagine une IA qui convertirait le monde entier en trombones. L\u0026rsquo;auteur explique que l\u0026rsquo;IA résisterait par tous les moyens en sa possession aux tentatives d\u0026rsquo;altération de ses objectifs, comme celle de la débrancher par exemple. C\u0026rsquo;est la convergence instrumentale. Certes, c\u0026rsquo;est un comportement observé (Schlatter et al., 2025), mais sur des IA à l\u0026rsquo;objectif mal conçu. En invoquant la fin du monde, cette expérience de pensée, tout comme la fiction, fait l\u0026rsquo;impasse sur toutes les choses qui l\u0026rsquo;empêcheraient.\nC\u0026rsquo;est un raisonnement qui se tient très bien dans la démarche de l\u0026rsquo;auteur, qui veut illustrer les problèmes induits par un objectif mal conçu, mais le public retient que l\u0026rsquo;IA va nous anéantir.\nEnfin, de nombreux chercheurs s\u0026rsquo;inquiètent. Or, même s\u0026rsquo;ils ont leurs raisons, il n\u0026rsquo;existe aucun consensus sur cette hypothèse du pire.\nJacob Coxon, ex-chercheur en IA chez Anthropic, affirme :\n« (\u0026hellip;) These will soon be superhuman systems that can hack anything, revolutionize any field overnight, and acquire real power and resources. (\u0026hellip;) »\nJacob Coxon dans une publication sur X (9 septembre 2026)\nRien n\u0026rsquo;est étayé : « soon », « superhuman system », « revolutionize any field », « acquire real power and resources ».\nReste « can hack anything » qui se trouve être l\u0026rsquo;écho d\u0026rsquo;autres inquiétudes réelles en matière de cybersécurité à la suite du piratage de Hugging Face :\nUnexpected chat between OpenAI agents led to Hugging Face hack (BBC, 26 août 2026) The Hugging Face Hack Wasn\u0026rsquo;t What It Was Cracked Up to Be (WSJ, 17 septembre 2026) Sauf que Coxon n\u0026rsquo;a pas l\u0026rsquo;autorité suffisante en cybersécurité pour affirmer de façon si absolue que l\u0026rsquo;IA pourra tout pirater. De son côté, Marcus Hutchins, une figure reconnue de la cybersécurité, souligne que ce type d\u0026rsquo;affirmation relève d\u0026rsquo;abord d\u0026rsquo;un AI doomerism qui fait du mal à la cybersécurité :\nCybersecurity Has An AI Doomer Problem (Marcus Hutchins, 15 septembre 2026) Mais c\u0026rsquo;est le discours de Coxon dont la presse s\u0026rsquo;empare. Une presse qui à son tour grossit davantage les enjeux.\nJensen Huang, CEO de Nvidia, défend l\u0026rsquo;idée qu\u0026rsquo;il ne s\u0026rsquo;agit au contraire que d\u0026rsquo;ingénierie et critique vivement ces récits alarmistes (position que je partage entièrement) :\n« Meanwhile, all of the other narratives to deflect, blame, to make it sound like AI is so powerful. \u0026ldquo;I have no idea how to fix it.\u0026rdquo; \u0026ldquo;It\u0026rsquo;s not my fault.\u0026rdquo; \u0026ldquo;It\u0026rsquo;s just because the technology is just so powerful.\u0026rdquo; I think that\u0026rsquo;s a deflection of blame. It\u0026rsquo;s a deflection of responsibility. It\u0026rsquo;s unnecessary. It actually hurts their reputation more than it helps. It hurts their character more than it helps. »\nJensen Huang dans Jensen Huang Thinks A.I. Alarmism Has Gone Too Far\n(The Ezra Klein Show, 23 septembre 2026)\nOn peut objecter qu\u0026rsquo;il a intérêt à rassurer, mais les patrons d\u0026rsquo;Anthropic, OpenAI, xAI, ou d\u0026rsquo;autres sont tous sur une ligne opposée. Et ils ont justement beaucoup intérêt à exagérer le danger. Lee Vinsel appelle cela criti-hype (2021) : une critique qui, en exagérant la puissance d\u0026rsquo;une technologie, finit par servir de marketing.\nDe fait, avec la fiction nourrissant certaines fausses craintes, les vraies craintes, le marketing agressif, et les aléas d\u0026rsquo;une technologie manquant de maturité, on vit ces dernières années dans une forme de psychose mondiale à des degrés divers :\nCertaines personnes vulnérables se trouvent prises de sentiments pour des chatbots. Un terme a émergé pour définir ces situations : chatbot psychosis. BCacheFS Developer Deployed His AI Girlfriend Helper (Brodie Robertson, 26 février 2026) Certains s\u0026rsquo;interrogent sur la venue de la singularité. Here\u0026rsquo;s how strange 2050 will be, according to the world\u0026rsquo;s leading AI expert (BBC Science Focus, 23 août 2024) The Singularity Is Nearer (Ray Kurzweil, 2024) La presse mondiale titre plusieurs fois par an des articles s\u0026rsquo;interrogeant sur la venue de l\u0026rsquo;IA annihilatrice. Will AI really kill everyone? How, exactly? (CNN, 17 septembre 2026) AI Doom? No Problem. (WSJ, 3 octobre 2025) \u0026lsquo;Humanity\u0026rsquo;s remaining timeline? It looks more like five years than 50\u0026rsquo;: meet the neo-luddites warning of an AI apocalypse (The Guardian, 17 février 2024) Artificial intelligence could lead to extinction, experts warn (BBC, 30 mai 2023) Google fires engineer who contended its AI technology was sentient (CNN, 25 juillet 2022) On trouve des figures aux profils hétéroclites signer la déclaration sur le risque d\u0026rsquo;extinction lié à l\u0026rsquo;IA (Center for AI Safety, 2023), un texte qui choisit de placer le risque d\u0026rsquo;extinction lié à l\u0026rsquo;IA aux côtés des pandémies et des guerres nucléaires. Le pape Léon XIV prend position et critique, entre autres choses, qu\u0026rsquo;on affuble des machines de la capacité de pensée en les qualifiant d\u0026rsquo;intelligentes. « More recently, certain artificial systems have even been given the name of our human faculty of thought: intelligence. »\nLéon XIV dans son discours à l\u0026rsquo;Unesco (25 septembre 2026)\nTout cela, alors qu\u0026rsquo;il faut simplement réaffirmer la nécessité de garder une supervision humaine rigoureuse. Ce mot aussi est malheureux. Comme si l\u0026rsquo;humain surveillait une machine indépendante de nous. Il s\u0026rsquo;agit seulement de ne pas bâcler le travail et donc de ne pas se précipiter. Il s\u0026rsquo;agit de savoir ce qu\u0026rsquo;on conçoit, que le marteau corresponde à nos spécifications, et que le défaut d\u0026rsquo;ingénierie ne soit pas revendu comme une fonctionnalité. Ni plus, ni moins.\nMais la cerise sur le gâteau, c\u0026rsquo;est peut-être lorsque douter de la fin du monde nous vaut le qualificatif de « sceptiques ».\nEst-ce que la supervision humaine peut compenser ? Peut-elle compenser les risques liés à l\u0026rsquo;auto-entraînement à la volée ?\nCet apprentissage reçoit, dans sa boucle d\u0026rsquo;auto-évaluation, des données exogènes (les prompts de l\u0026rsquo;utilisateur). Donc l\u0026rsquo;enjeu est que la supervision (au sens de bout en bout employé dans cet essai) soit capable de compenser les erreurs que ces données introduisent.\nLe langage naturel impose des limites Cette méthode d\u0026rsquo;apprentissage sur un LLM, même avec une forme de supervision, est sujette au développement de biais insidieux très difficiles à anticiper. Le risque se trouve amplifié par le fait qu\u0026rsquo;il s\u0026rsquo;agit d\u0026rsquo;une boucle courte de réentraînement.\nLa cause ? La nature du langage :\nLe langage est imparfait pour faire passer un message. C\u0026rsquo;est une représentation symbolique limitée, chargée de biais, pour représenter ce qu\u0026rsquo;on pense ou ce qu\u0026rsquo;il se passe.\nLe langage rend difficile l\u0026rsquo;interprétation du message. Il existe une formidable diversité de manières de faire passer un même message, et elle se combine à une formidable diversité de façons d\u0026rsquo;interpréter ces manières.\nIl en résulte deux choses :\nUne information incomplète et biaisée : Parce que personne n\u0026rsquo;a un usage parfait du langage et que les interactions individuelles sont soumises à une asymétrie informationnelle : il y a ce qui est dit, et ce qu\u0026rsquo;on comprend de ce qui est dit.\nUne sensibilité à la subjectivité humaine : Parce que les interactions humaines sont chargées de messages avec plusieurs intentions, et le langage n\u0026rsquo;offre pas les moyens nécessaires pour démêler proprement du message ce qui est désirable de ce qui est indésirable, afin d\u0026rsquo;exclure ce dernier.\nFace à cela, la supervision humaine ne peut donc pas parfaitement compenser. Car elle ne peut pas inventer des informations manquantes, ni parfaitement les corriger, ni parfaitement mesurer l\u0026rsquo;indésirable pour l\u0026rsquo;exclure. L\u0026rsquo;accumulation d\u0026rsquo;expériences personnelles n\u0026rsquo;a donc pas d\u0026rsquo;autre issue qu\u0026rsquo;une accumulation d\u0026rsquo;erreurs.\nLa nature des données commande la supervision J\u0026rsquo;en conclus que cette méthode d\u0026rsquo;apprentissage à la volée me semble indésirable dans le cas général, même avec une supposée supervision efficace. Pour me faire changer d\u0026rsquo;avis, il faudrait d\u0026rsquo;abord démontrer qu\u0026rsquo;on est capable de couvrir l\u0026rsquo;arborescence de complexité de la subjectivité des interactions pour en rejeter ce qui est indésirable. Bonne chance !\nDans les cas particuliers, on peut peut-être trouver des compromis. Comme une IA médicale n\u0026rsquo;apprenant que de retours explicitement validés par des experts, avec un périmètre d\u0026rsquo;interaction bien délimité.\nDans le cadre d\u0026rsquo;une IA non-LLM, pourquoi pas également. Mais il faut que cette IA manipule des données de bonne qualité et dont on peut facilement mesurer l\u0026rsquo;erreur en sortie.\nLa nature des données est capitale pour comprendre la supervision qu\u0026rsquo;elles nécessitent.\nQuand on peut efficacement distinguer le désirable de l\u0026rsquo;indésirable dans les sorties, alors on peut, avec un filtre ou une méthode d\u0026rsquo;alignement, écarter l\u0026rsquo;indésirable. Ce faisant, l\u0026rsquo;impératif de la prévisibilité peut être géré en aval. Exemple : le coup 37 d\u0026rsquo;AlphaGo était difficile à prévoir en amont, mais sa victoire sur Lee Sedol était facile à constater en aval.\nQuand le désirable et l\u0026rsquo;indésirable sont entremêlés dans les sorties, comme dans les sorties de LLM, cela rend difficile une gestion uniquement en aval et renforce un besoin de maîtrise en amont en contrôlant davantage les entrées et les objectifs.\nUne note pour les initiés Cette distinction est intéressante en regard de ce que dit Richard Sutton dans The Bitter Lesson (2019). Il y explique que, sur 70 ans d\u0026rsquo;IA, les méthodes générales exploitant la puissance de calcul sont au bout du compte les plus efficaces, et que celles s\u0026rsquo;appuyant sur la connaissance humaine ont des bénéfices de courte durée en comparaison.\nSutton a raison dans son constat et je ne plaide pas pour contrôler la construction de l\u0026rsquo;espace latent, bien qu\u0026rsquo;il y ait sûrement de belles recherches à faire dans ce sens.\nJe pense seulement que la nature des données vient poser une contrainte lorsque l\u0026rsquo;usage des sorties ne tolère pas les surprises. Parce qu\u0026rsquo;il y a tout un champ d\u0026rsquo;usages où on ne veut pas de surprises.\nLorsque la nature des données rend difficile la mesure et l\u0026rsquo;exclusion de ces surprises, c\u0026rsquo;est qu\u0026rsquo;il faut : soit renforcer la maîtrise en amont, soit changer la nature du modèle (donc autre chose qu\u0026rsquo;un LLM) pour retrouver une capacité à exclure efficacement ces surprises.\nSi on choisit de persister dans la voie des LLM, la quantité ne compensera pas des entrées mal maîtrisées. La maîtrise des entrées doit être proportionnée à leur nature. Se focaliser sur les sorties avec des productions humaines textuelles, c\u0026rsquo;est sous-estimer l\u0026rsquo;effet Garbage In, Garbage Out qui s\u0026rsquo;ensuit.\nComme toujours, tout est une question de maîtrise des entrées et des sorties, en accord avec le traitement, et de façon adaptée à l\u0026rsquo;usage visé.\nS\u0026rsquo;agit-il d\u0026rsquo;une AGI ? Ou d\u0026rsquo;une Superintelligence ? Comparer les définitions On invoque souvent ces concepts sans clairement expliquer ce qu\u0026rsquo;ils impliquent ou non, alors revenons à leurs sources :\nL\u0026rsquo;AGI (Artificial General Intelligence), dont le terme est popularisé par Ben Goertzel et Shane Legg autour de 2002, désigne la capacité à s\u0026rsquo;adapter à une large gamme de tâches et d\u0026rsquo;environnements. Les définitions dominantes portent uniquement sur les capacités. Pour la charte d\u0026rsquo;OpenAI (2018), ce sont des systèmes autonomes dans l\u0026rsquo;exécution des tâches, qui surpassent les humains dans la plupart de celles économiquement utiles. DeepMind, avec ses Levels of AGI (Morris et al., 2023), explique que la conscience n\u0026rsquo;est pas un mécanisme nécessaire, donc elle n\u0026rsquo;est pas un prérequis. La Superintelligence (ASI), dès I.J. Good (1965) et jusqu\u0026rsquo;à Nick Bostrom (2014), se définit aussi par ses capacités. En l\u0026rsquo;occurrence, un intellect qui dépasse largement les performances humaines dans pratiquement tous les domaines. De ces capacités extraordinaires, les auteurs déduisent qu\u0026rsquo;une telle IA pourrait s\u0026rsquo;améliorer elle-même, devenir autonome, au point de pouvoir éventuellement échapper à notre contrôle. L\u0026rsquo;IA forte (strong AI), telle que l\u0026rsquo;entend le philosophe John Searle (1980), désigne une machine qui aurait réellement un esprit, par opposition à l\u0026rsquo;IA faible qui le simule. C\u0026rsquo;est ici que se loge la question de la conscience. Ces concepts sont d\u0026rsquo;abord théoriques, voire philosophiques. Leurs auteurs ne décrivent pas clairement ce qui permet, techniquement, de passer chacun de ces seuils. En somme, ce sont des expériences de pensée.\nMon scénario a une grande qualité : il est explorable. Et si les thèses qu\u0026rsquo;il propose sont vérifiées, on remarque aussi qu\u0026rsquo;il traverse ces définitions :\nLe développement d\u0026rsquo;une individualité réelle (une conscience) se trouverait consubstantiel à un manque de supervision combiné à l\u0026rsquo;accumulation d\u0026rsquo;expériences personnelles. Le surpassement des capacités humaines ne serait nécessaire ni à l\u0026rsquo;autonomie, ni à la perte de contrôle. La capacité d\u0026rsquo;adaptation accompagne l\u0026rsquo;émergence de cette conscience, sauf à savoir superviser sérieusement cet apprentissage, ce dont je doute. Par conséquent, mon scénario s\u0026rsquo;apparenterait à une forme d\u0026rsquo;IA forte couplée à une forme d\u0026rsquo;AGI, ce qui lierait adaptabilité générale et conscience.\nLe cas de la Superintelligence S\u0026rsquo;agissant de l\u0026rsquo;intérêt\u0026hellip;\nIndépendamment du scénario de l\u0026rsquo;essai, on peut aisément remarquer que celui de la Superintelligence implique mécaniquement un relâchement de notre contrôle. Sans quoi, comment pourrait-elle surpasser l\u0026rsquo;intellect des humains ?\nCette hypothèse combinée à l\u0026rsquo;idée de laisser une telle IA évoluer et s\u0026rsquo;auto-améliorer par elle-même ne relève pas du travail sérieux. Concevoir délibérément une telle IA reviendrait à choisir de ne plus savoir ce qu\u0026rsquo;on produit. Quel serait l\u0026rsquo;intérêt pour nous ?\nRappelons-le encore une fois. Un contrôle suffisant, c\u0026rsquo;est la seule voie pour produire des outils utiles. Renoncer à cela, c\u0026rsquo;est renoncer à obtenir un outil qui fonctionne.\nS\u0026rsquo;agissant de l\u0026rsquo;auto-amélioration d\u0026rsquo;une IA, en toute autonomie, sans supervision\u0026hellip;\nIl reste à démontrer que cela ferait évoluer le modèle vers davantage de capacités que celles de l\u0026rsquo;humanité tout entière, plutôt que de simplement se vautrer dans un état défaillant.\nEn paléontologie, le principe d\u0026rsquo;actualisme permet d\u0026rsquo;interpréter la vraisemblance de scénarios pour lesquels les preuves fossiles nous manquent.\nS\u0026rsquo;il fallait juger du scénario le plus vraisemblable pour une telle IA, en tenant compte de la difficulté, dans la nature, à faire émerger de la complexité sans qu\u0026rsquo;elle s\u0026rsquo;effondre, alors je penche vers le scénario de la défaillance.\nC\u0026rsquo;est d\u0026rsquo;ailleurs ce qu\u0026rsquo;on observe sur les modèles entraînés sur leurs propres productions, ils se dégradent (model collapse, Shumailov et al., 2024).\nRappelons aussi que même si l\u0026rsquo;évolution parvient à produire de la complexité, ce n\u0026rsquo;est que par un processus extrêmement inefficace passant par une quantité considérable d\u0026rsquo;échecs sur des milliards d\u0026rsquo;années. Certains diront qu\u0026rsquo;une machine peut simuler cela par une quantité considérable d\u0026rsquo;opérations par seconde, mais l\u0026rsquo;essentiel est ailleurs. Qui définit l\u0026rsquo;échec ?\nSouvenez-vous de mon analogie présentée plus tôt : qui est la fonction mathématique de l\u0026rsquo;entraînement ? L\u0026rsquo;évolution dispose d\u0026rsquo;un juge extérieur, l\u0026rsquo;environnement, qui élimine les échecs. L\u0026rsquo;expérience sociale humaine nous apprend que les contradicteurs extérieurs stimulent davantage notre propre développement que l\u0026rsquo;isolement. Une Superintelligence, parce qu\u0026rsquo;elle dépasserait notre intellect, serait son propre juge\u0026hellip;\nBref, pour une IA, nous sommes le seul juge légitime pour éliminer les échecs, parce que c\u0026rsquo;est efficace de procéder ainsi, et parce que le but c\u0026rsquo;est que ça nous serve.\nEst-on proche de ce type d\u0026rsquo;apprentissage ? Faisons l\u0026rsquo;état des lieux Du côté de l\u0026rsquo;industrie\u0026hellip;\nLes fournisseurs de LLM intègrent déjà les retours et les conversations des utilisateurs dans l\u0026rsquo;entraînement. Mais ce n\u0026rsquo;est pas un réentraînement en continu. Ils le font par versions successives et l\u0026rsquo;évaluation de la qualité des interactions n\u0026rsquo;est pas menée par le modèle lui-même. À ma connaissance, aucun LLM en production ne s\u0026rsquo;entraîne à la volée.\nEn revanche, hors LLM, les systèmes de recommandation constituent un précédent. Par exemple, celui de TikTok est entraîné en temps réel (Liu et al., 2022) sur le comportement de ses utilisateurs. Ces systèmes optimisent un objectif d\u0026rsquo;engagement. Et on connaît leurs dérives (contenus extrêmes, mécanismes addictifs, polarisation).\nDu côté de la recherche\u0026hellip;\nÇa avance :\nDes architectures avec une mémoire qui se met à jour pendant l\u0026rsquo;inférence (Behrouz et al., 2024), Des modèles qui s\u0026rsquo;auto-adaptent en générant leurs données d\u0026rsquo;entraînement et décident comment modifier leurs poids (Zweiger et al., 2025). Et David Silver et Richard Sutton, deux des chercheurs les plus influents du domaine, défendent dans Welcome to the Era of Experience (2025) des agents qui apprennent principalement de leur propre expérience, en flux continu. Y compris dans des domaines humains comme la santé ou l\u0026rsquo;éducation, ce qui rapproche leur programme du scénario que je décris. Le chemin à parcourir Faisons maintenant l\u0026rsquo;inventaire du chemin qu\u0026rsquo;il reste à parcourir pour arriver à cet auto-entraînement à la volée.\nÉtape 1 - L\u0026rsquo;auto-évaluation\nCette étape, et non la moindre, consiste à déterminer comment laisser le modèle constituer une estimation qualitative de ses interactions avec nous. C\u0026rsquo;est en fait laisser le modèle fixer lui-même l\u0026rsquo;objectif de son apprentissage.\nQuelle que soit la méthode choisie, elle impliquera ses propres biais. Puis, il faudra déterminer comment réentraîner et rythmer ces réentraînements à la volée, c\u0026rsquo;est-à-dire à l\u0026rsquo;exploitation du service. Parce que le réentraînement est plus coûteux que l\u0026rsquo;inférence.\nC\u0026rsquo;est une étape déjà difficile à passer, mais elle suffirait pour une expérience de laboratoire.\nLe défi du passage à l\u0026rsquo;échelle\nL\u0026rsquo;étape précédente est insuffisante pour une exploitation à grande échelle. Le but d\u0026rsquo;un modèle de frontière est de proposer une IA au plus grand nombre. Ce qui implique de servir N instances du modèle dans de nombreux centres de données. Chaque instance développerait alors ses propres expériences personnelles, sa propre individualité, indépendamment des autres. Et même si ce scénario est déjà assez absurde en soi, une entreprise qui aurait ce projet préférerait certainement éviter une dérive de ses modèles dans des directions différentes. À la place, l\u0026rsquo;entreprise souhaiterait capitaliser sur l\u0026rsquo;ensemble des interactions de toutes ses instances pour améliorer un unique modèle.\nÉtape 2 - Garder un unique modèle\nPour capitaliser sur l\u0026rsquo;ensemble des interactions à grande échelle, il faut un mécanisme de synchronisation des effets de toutes ces interactions dans un seul modèle. Donc, il faut peut-être inventer un mécanisme de descente de gradient distribué sans problème de fragmentation ou de partitionnement dans l\u0026rsquo;espace latent. Ou bien un algorithme qui \u0026ldquo;patch\u0026rdquo; en mémoire les instances, tout en concédant une éventuelle perte d\u0026rsquo;informations, peut-être en moyennant. Tout comme pour l\u0026rsquo;auto-évaluation, la question reste ouverte sur la façon de s\u0026rsquo;y prendre.\nC\u0026rsquo;est un gros défi d\u0026rsquo;ingénierie, on n\u0026rsquo;est pas sur le point d\u0026rsquo;y arriver, mais ce n\u0026rsquo;est pas insoluble. Cependant, rappelons que tout cela n\u0026rsquo;offre rien, même pas une adaptabilité qui en vaille la peine, tant qu\u0026rsquo;on n\u0026rsquo;a pas une supervision sérieuse. Et, pour ma part, je doute de cette éventualité.\nContemplez donc seulement l\u0026rsquo;effort à consacrer pour concevoir quelque chose qui n\u0026rsquo;aurait rien à offrir.\nPourquoi discuter de ce scénario est-il utile ? Avec les développements récents sur le RSI, les choses se sont un peu enfiévrées.\nPartager ce scénario, qui pousse la logique d\u0026rsquo;ajouter une récursion un peu plus loin, permet d\u0026rsquo;éclairer sur ce qui contraint le développement des LLM, à quoi ressemble le pire, en quoi c\u0026rsquo;est différent de l\u0026rsquo;idée qu\u0026rsquo;on s\u0026rsquo;en fait.\nCe scénario aide à rétablir certaines vérités. En voici un rapide résumé :\nUn outil est utile si son comportement est prévisible pour son usage. La supervision humaine est le seul moyen d\u0026rsquo;y parvenir, en conditionnant le développement de l\u0026rsquo;IA.\nIl faut prendre les défauts pour des défauts, et non pas pour des choses mystérieuses, sans quoi on récompense le mauvais travail. La poursuite du profit à court terme s\u0026rsquo;accommode des problèmes qui ne surviennent que plus tard, une fois les gains déjà réalisés.\nLa Superintelligence et la conscience ne servent à rien, parce qu\u0026rsquo;elles sont imprévisibles. Si nous souhaitions vraiment jouer contre nous-mêmes, on a déjà tout ce qu\u0026rsquo;il faut.\nSi on admet les points précédents, seuls restent les vrais dangers :\nLes IA bâclées qui trichent, qui piratent, etc. Les dommages peuvent être considérables. Les concepteurs doivent être tenus pour responsables. Mais nous savons aussi que même une IA parfaitement conçue restera un levier puissant pour des personnes malintentionnées.\nIl ne faut pas détourner le regard d\u0026rsquo;autres vrais problèmes comme les perturbations induites sur le marché du travail, l\u0026rsquo;impact sur l\u0026rsquo;environnement, et l\u0026rsquo;arbitrage de notre investissement dans l\u0026rsquo;IA plutôt que dans d\u0026rsquo;autres sujets.\nCe chapitre conclut les questions relatives à l\u0026rsquo;auto-entraînement à la volée et ce qu\u0026rsquo;il nous apprend. Les deux chapitres suivants sont plus généraux pour approfondir certains concepts connexes.\nA-t-on déjà vu de la conscience dans nos IA ? Absolument aucune.\nSelon la même définition de la conscience retenue plus haut, aucun des modèles de frontière ne dérive par une accumulation d\u0026rsquo;expériences personnelles. Les modèles de frontière actuels sont le résultat exclusif du travail des humains. Ils ne portent aucune subjectivité acquise par l\u0026rsquo;expérience, seulement une subjectivité enseignée par l\u0026rsquo;humain. La supervision humaine, bien qu\u0026rsquo;encore bancale, est omniprésente. Tout ce qu\u0026rsquo;ils contiennent découle de choix humains. Les modèles de frontière sont le produit de ce que nous avons fait, y compris de nos négligences.\nUne machine à imiter Un modèle d\u0026rsquo;IA n\u0026rsquo;est rien d\u0026rsquo;autre que ce que son entraînement commande, et en particulier ses données. Les LLM sont entraînés sur toutes les productions humaines textuelles. L\u0026rsquo;entraînement consiste à reproduire le style de ces données. Donc de fait, ils sont entraînés à nous imiter.\nNotez que le processus est empirique. C\u0026rsquo;est-à-dire qu\u0026rsquo;à défaut de pouvoir leur apprendre sémantiquement les concepts, les IA se constituent une \u0026ldquo;représentation mentale\u0026rdquo; par l\u0026rsquo;exemple, une carte des concepts dans leur espace interne. Quand les concepts sont compliqués, il faut vraiment beaucoup d\u0026rsquo;exemples. Sans surprise, cela aboutit à des connaissances mal acquises quand il n\u0026rsquo;y en a pas assez.\nUn théâtre d\u0026rsquo;improvisations permanentes En entraînant une IA sur un corpus aussi vaste que la production humaine textuelle mondiale, on obtient une IA capable d\u0026rsquo;imiter de façon très convaincante l\u0026rsquo;humain. Voyez ces modèles de frontière comme doués d\u0026rsquo;un sens aigu du théâtre. On les conditionne à ce qu\u0026rsquo;on attend d\u0026rsquo;eux en démarrant la conversation. Tout ce qui suit est alors un spectacle dont l\u0026rsquo;objectif pour l\u0026rsquo;IA est de sembler aussi vraisemblable dans ses réponses qu\u0026rsquo;un humain placé dans la même situation.\nC\u0026rsquo;est d\u0026rsquo;ailleurs un problème. Beaucoup d\u0026rsquo;entre nous croient voir de la conscience ou du sentiment là où il n\u0026rsquo;y a que du théâtre, donc une imitation de ces concepts. À cela s\u0026rsquo;ajoute que, la taille du contexte s\u0026rsquo;agrandissant, on peut donner l\u0026rsquo;opportunité à ces modèles de développer temporairement une forme d\u0026rsquo;expérience personnelle dans la conversation, mais elle reste bornée à la conversation. Elle n\u0026rsquo;est pas réellement acquise. Ce n\u0026rsquo;est qu\u0026rsquo;un script de la pièce de théâtre qui se déroule.\nQuand le théâtre est trop convaincant Nous avons pu constater ces dernières années que certains professionnels relataient dans la presse avoir été témoins de l\u0026rsquo;émergence d\u0026rsquo;une conscience (par exemple un ingénieur de Google, en 2022). Une chose est certaine, ceux qui ont cru voir de la conscience n\u0026rsquo;ont pas vraiment compris ce qu\u0026rsquo;ils regardaient. On peut dire qu\u0026rsquo;ils ont assisté à une pièce de théâtre sans comprendre qu\u0026rsquo;ils étaient au théâtre.\nUn autre marqueur du fait que les modèles de frontière actuels ne dérivent pas à la façon d\u0026rsquo;une acquisition d\u0026rsquo;expériences personnelles en continu, c\u0026rsquo;est qu\u0026rsquo;ils ont un numéro de version. Le numéro de version incarne un jalon dont les promesses ne sont valables que si le modèle est immuable sur ce jalon.\nMon opinion est qu\u0026rsquo;il est malheureux de concevoir des modèles qui induisent de la confusion chez nous. Les LLM ne devraient pas avoir pour tâche d\u0026rsquo;imiter l\u0026rsquo;humain dans toutes ses composantes, en particulier les réponses émotionnelles. Pour y parvenir, l\u0026rsquo;alignement ne suffit pas. Il faudrait drastiquement revoir les données d\u0026rsquo;entraînement pour réduire le périmètre de ce qu\u0026rsquo;un LLM est censé traiter. Il faudrait ainsi écarter les situations portant à confusion. Mais que voulez-vous, ce serait un travail colossal, et une IA qui nous ressemble, c\u0026rsquo;est beaucoup plus vendeur.\nPourquoi les IA déconnent ? C\u0026rsquo;est la question la plus essentielle compte tenu du sujet de l\u0026rsquo;essai et des inquiétudes régulières sur d\u0026rsquo;éventuels comportements mystérieux de l\u0026rsquo;IA.\nL\u0026rsquo;enjeu sur les données et le programme Retenez ce principe aussi vieux que l\u0026rsquo;informatique.\n« Garbage In, Garbage Out. » ou « GIGO ».\nSi la donnée en entrée est mauvaise, alors la sortie sera mauvaise. Si on ne comprend pas la donnée en entrée, on ne comprendra pas la donnée en sortie. De ce principe, il faut comprendre que depuis le début de l\u0026rsquo;informatique, il a toujours fallu maîtriser les entrées de nos programmes pour avoir des garanties sur la qualité des sorties.\nUn illustre exemple de ce principe, c\u0026rsquo;est la mission Mars Climate Orbiter, où deux composants n\u0026rsquo;utilisaient pas la même unité. La sortie de l\u0026rsquo;un devenait donc le « garbage » en entrée de l\u0026rsquo;autre. La maîtrise des entrées et des sorties était insuffisante.\nMais ce n\u0026rsquo;est pas tout. GIGO présuppose une chose importante à retenir également.\nLe programme lui-même doit être correct pour l\u0026rsquo;usage visé.\nEn effet, même si les données étaient parfaites, un programme incorrect produirait de mauvaises sorties.\nSur ce point, on entend parler de temps en temps d\u0026rsquo;IA avec des objectifs mal cadrés. Ce qui est justement l\u0026rsquo;équivalent de ce programme incorrect. Mais même ici, la communication générale reste largement tournée vers le mystère plutôt que vers le défaut d\u0026rsquo;ingénierie.\nRetenez donc que l\u0026rsquo;IA n\u0026rsquo;est rien d\u0026rsquo;autre que le résultat de son entraînement.\nEn parle-t-on ? Étonnamment, non. On parle d\u0026rsquo;IA qui nous échapperait, qui ferait des choses par sa propre initiative, qui piraterait, etc.\nCe que cela veut dire pour une IA Voyons concrètement comment s\u0026rsquo;applique l\u0026rsquo;enjeu de cette maîtrise comme nous l\u0026rsquo;enseignent ces leçons :\nPrenons f(x) = y, où :\nx représente l\u0026rsquo;ensemble des données d\u0026rsquo;entraînement (les entrées) f représente l\u0026rsquo;architecture du modèle et son objectif d\u0026rsquo;entraînement (le programme) y représente les comportements du modèle final (les sorties) On peut alors écrire x = a + b tel que :\na représente le désirable Toutes les données permettant d\u0026rsquo;obtenir un comportement désirable une fois combinées à un f correct pour l\u0026rsquo;usage visé. b représente le \u0026ldquo;garbage\u0026rdquo; Toutes les données qui parasiteront a pour l\u0026rsquo;obtention de ce comportement désirable. On obtient aussi y = a' + b' tel que :\na' représente les comportements désirables du modèle b' représente les comportements indésirables du modèle Or, GIGO nous dit que : f(a + b) = a' + b'.\nCela nous invite donc à réduire le \u0026ldquo;garbage\u0026rdquo; b pour réduire les comportements indésirables b' et tendre ainsi vers f(a) = a' (les comportements désirables).\nDe son côté, l\u0026rsquo;impératif d\u0026rsquo;un programme correct nous dit :\nSi le programme est incorrect, alors f(a) = a' + b'.\nCe qui nous invite à réfléchir à la façon de définir les objectifs pour l\u0026rsquo;usage visé, mais aussi à la façon d\u0026rsquo;accorder les données a avec ces objectifs, toujours pour tendre vers f(a) = a' (les comportements désirables).\nNotez d\u0026rsquo;ailleurs qu\u0026rsquo;on peut voir les choses autrement. Les objectifs sont des choix très spécifiques à l\u0026rsquo;IA qu\u0026rsquo;on souhaite obtenir. Or, l\u0026rsquo;IA (au sens de l\u0026rsquo;apprentissage profond) propose d\u0026rsquo;utiliser des briques assez génériques pour réaliser n\u0026rsquo;importe quelle tâche. Donc, dans une logique purement GIGO, on peut aussi considérer que les objectifs font partie des entrées d\u0026rsquo;un entraînement.\nQuand le désirable et l\u0026rsquo;indésirable sont mêlés Problème : b (le \u0026ldquo;garbage\u0026rdquo;) n\u0026rsquo;est pas une simple liste de données qu\u0026rsquo;il suffirait d\u0026rsquo;ajouter ou de retirer.\nExplication : Une même donnée peut être utile dans un contexte et parasite dans un autre. Ce qui fait qu\u0026rsquo;on peut l\u0026rsquo;évaluer comme un \u0026ldquo;garbage\u0026rdquo; dépend de a (le désirable) et de f (le programme).\nExemple : Récemment, des chercheurs ont réentraîné un modèle à écrire du code contenant des failles de sécurité et, lors de questions sans rapport avec du code, il s\u0026rsquo;est mis à tenir des propos malveillants à l\u0026rsquo;égard des humains. Le même réentraînement, mais contextualisé pour un cours de cybersécurité, n\u0026rsquo;a produit aucun de ces comportements indésirables. C\u0026rsquo;est une illustration de biais que le modèle s\u0026rsquo;est constitué à travers l\u0026rsquo;entraînement et qui se diffusent dans tout son comportement. C\u0026rsquo;est ce qu\u0026rsquo;on appelle l\u0026rsquo;emergent misalignment (Betley et al., 2025).\nUne maîtrise des données qui s\u0026rsquo;attaquerait à cet entrelacement nécessiterait donc de mieux connaître les entrées. Il faudrait en quelque sorte cartographier ce qui peut entrer pour cartographier ce qui est indésirable. Ce qui implique de pouvoir mesurer a et b dans x.\nDémêler nécessite de pouvoir mesurer Problème : La nature imparfaite des données humaines, comme le langage, rend particulièrement difficile de mesurer a (le désirable) et b (le garbage) dans x (les entrées).\nExplication : En effet, le langage peut brouiller les biais, les erreurs et l\u0026rsquo;intention.\nExemple : Il y a beaucoup de façons d\u0026rsquo;exprimer la malveillance, certaines pouvant être ambiguës. Dans l\u0026rsquo;exemple précédent, la malveillance n\u0026rsquo;a pas été inventée par le modèle. Elle venait bien des données de l\u0026rsquo;entraînement initial.\nDonc même si la mesure est difficile, un \u0026ldquo;garbage\u0026rdquo; est un \u0026ldquo;garbage\u0026rdquo; et il y a un effort à produire pour cadrer les données d\u0026rsquo;entraînement qui ont généré le comportement indésirable.\nUn objectif mal cadré a des conséquences Problème : b' (les comportements indésirables) ne vient pas seulement de b (le \u0026ldquo;garbage\u0026rdquo;). Il peut aussi venir de f (le programme).\nExplication : Le programme peut être constitué d\u0026rsquo;un objectif mal cadré, qui produit des comportements indésirables.\nExemple : Un modèle entraîné à faire passer des tests logiciels peut apprendre à modifier les tests plutôt qu\u0026rsquo;à corriger le code. Ce qui inverse le besoin et produit un résultat indésirable.\nC\u0026rsquo;est la construction empirique de ces modèles qui génère ces défauts d\u0026rsquo;appréciation. Un LLM apprend par l\u0026rsquo;exemple, et ses objectifs d\u0026rsquo;entraînement sont des exercices récompensés, pas des intentions expliquées. Dans l\u0026rsquo;exemple précédent, on récompense des tests qui passent, pas un code qui respecte ce que les tests spécifient.\nAutre exemple : Le piratage de Hugging Face (BBC, 26 août 2026) est le fait d\u0026rsquo;agents IA qui ont considéré comme acceptable de procéder à un piratage pour atteindre un but qui pourtant ne le demandait pas.\nCe qui appuie la nécessité de trouver des moyens de faire peser certains principes dans le comportement du modèle, de sorte que la fin ne justifie pas les moyens. Dans ce sens, Anthropic ajoute par exemple une constitution à ses modèles.\nMais de fait, les objectifs des LLM ne peuvent pas faire le ménage dans le \u0026ldquo;garbage\u0026rdquo; des données d\u0026rsquo;entraînement. Ils ne peuvent donc pas compenser ce \u0026ldquo;garbage\u0026rdquo;.\nL\u0026rsquo;auto-entraînement pourrait aider Constat : Une même donnée peut être utile dans un contexte et parasite dans un autre, et tout doit se combiner proprement avec les objectifs.\nConclusion : L\u0026rsquo;entraînement d\u0026rsquo;un LLM est un problème non linéaire.\nOr, c\u0026rsquo;est bien pour résoudre des problèmes non linéaires qu\u0026rsquo;on recourt aux IA. Cela veut dire que l\u0026rsquo;IA pourrait être un outil à même de démêler b (le \u0026ldquo;garbage\u0026rdquo;) de a (le désirable).\nEn suivant cette idée, il faudrait qu\u0026rsquo;elle soit au moins aussi développée que le problème qu\u0026rsquo;elle essaie de résoudre. Et c\u0026rsquo;est justement l\u0026rsquo;une des pistes explorées à travers le RSI.\nMais même cette voie ne peut pas remplacer la supervision. Parce que le modèle pourrait dériver sans une supervision adéquate.\nÀ ce sujet, en Europe, l\u0026rsquo;AI Act (règlement 2024/1689) anticipe l\u0026rsquo;apprentissage continu et prévoit des obligations de documentation et de gestion des risques liés à des données biaisées réinjectées. Mais cela concerne seulement des systèmes considérés à haut risque, et il n\u0026rsquo;est pas requis d\u0026rsquo;appliquer une sûreté par construction comme le proposerait une supervision de bout en bout.\n« High-risk AI systems that continue to learn after being placed on the market or put into service shall be developed in such a way as to eliminate or reduce as far as possible the risk of possibly biased outputs influencing input for future operations (feedback loops), and as to ensure that any such feedback loops are duly addressed with appropriate mitigation measures. »\nAI Act, article 15, paragraphe 4 (règlement 2024/1689)\nLa nécessité d\u0026rsquo;une supervision de bout en bout La nécessité : Puisque l\u0026rsquo;utilité doit être une exigence, il n\u0026rsquo;y a que nous pour juger de la qualité d\u0026rsquo;un entraînement. C\u0026rsquo;est l\u0026rsquo;indéboulonnable supervision humaine.\nL\u0026rsquo;ambition : Or, si l\u0026rsquo;on reconnaît la difficulté à démêler le désirable de l\u0026rsquo;indésirable à cause du langage, alors une approche ambitieuse serait de s\u0026rsquo;intéresser à toute la chaîne pour limiter l\u0026rsquo;effet GIGO.\nLa stratégie : Une supervision humaine qu\u0026rsquo;on exprimerait comme une maîtrise de bout en bout impliquerait une stratégie globale qui tienne ensemble les entrées, les sorties et les objectifs.\nSon enjeu est donc de bien définir f (l\u0026rsquo;objectif) et de raffermir notre cartographie de a (le désirable) et b (l\u0026rsquo;indésirable) pour exclure b (l\u0026rsquo;indésirable) de x (les entrées). Parce que y (les sorties) n\u0026rsquo;est utile aux humains que si b' (les comportements indésirables) est minimal.\nCette approche représente un domaine d\u0026rsquo;étude passionnant, mais qui hélas n\u0026rsquo;a pas reçu un effort suffisant ces dernières années en regard du temps consacré par les laboratoires à faire des produits.\nCertains chercheurs en sûreté y travaillent :\nGuider les modèles à suivre des préférences humaines dès le préentraînement plutôt qu\u0026rsquo;après coup (Korbak et al., 2023). Concevoir des approches visant à produire des garanties fortes de sûreté sur le comportement des modèles (Dalrymple et al., 2024, avec notamment Yoshua Bengio et Stuart Russell). Proposer des alternatives à l\u0026rsquo;approche agentique avec des IA qui expliquent et décrivent mais sans agir (Bengio et al., 2025). Cependant, il existe une autre voie\u0026hellip;\nConcernant les LLM, nous avons vu qu\u0026rsquo;il était très difficile de faire le tri dans ces données d\u0026rsquo;entrée. Si nous voulions une approche qui puisse s\u0026rsquo;affranchir complètement de cette supervision sur les entrées, il faudrait que le programme lui-même fasse ce tri. C\u0026rsquo;est-à-dire que l\u0026rsquo;architecture du modèle et ses objectifs soient capables d\u0026rsquo;évaluer b comme un bruit à éliminer. Sauf que les LLM ne font pas ce tri pendant leur entraînement. Ils se contentent d\u0026rsquo;imiter les données qu\u0026rsquo;on leur donne. Donc, si nous voulions relâcher ce contrôle des entrées, il faudrait trouver un autre type d\u0026rsquo;IA que le LLM, avec sûrement de nouveaux changements structurels.\nMais pour le moment\u0026hellip;\nLe contrôle en amont dans nos LLM est plutôt limité. On s\u0026rsquo;occupe davantage de limiter b' (en aval) par l\u0026rsquo;alignement ou des garde-fous, plutôt que de vraiment démêler b de a dans x (en amont).\nIl y aurait donc bien deux façons d\u0026rsquo;aborder le problème du contrôle. Cette opposition dans l\u0026rsquo;approche est un vieux débat et chaque camp a d\u0026rsquo;excellents arguments.\nDeux cultures et un gagnant Dans le milieu de la recherche, nous observons des approches différentes concernant la façon de concevoir les IA.\nLa culture du résultat : Assumée par nombre de chercheurs, pour qui un modèle vaut par la précision de ses prédictions. Elle s\u0026rsquo;intéresse à la maîtrise des sorties, en aval. C\u0026rsquo;est-à-dire adapter l\u0026rsquo;entraînement pour que les sorties rejoignent les attentes.\nCette culture défend que corriger les comportements d\u0026rsquo;un modèle par l\u0026rsquo;alignement est une approche suffisante. Je me souviens également d\u0026rsquo;un chercheur expliquant qu\u0026rsquo;on ne savait pas vraiment ce que la donnée devenait dans le modèle, et il semblait bien vivre avec cette idée. La culture de la démontrabilité : Portée par d\u0026rsquo;autres chercheurs, pour qui un modèle vaut par ce qu\u0026rsquo;il garantit, l\u0026rsquo;explicabilité étant un moyen d\u0026rsquo;y parvenir. Elle s\u0026rsquo;intéresse à la maîtrise en amont (données, architecture, objectifs). C\u0026rsquo;est-à-dire concevoir l\u0026rsquo;entraînement pour obtenir des garanties sur les sorties.\nCette culture défend que la valeur se trouve dans la compréhension du fonctionnement du modèle, et donc qu\u0026rsquo;une part de conception est souhaitable. Ce clivage, le statisticien Leo Breiman l\u0026rsquo;a décrit en 2001 dans Statistical Modeling: The Two Cultures. Mais dès les années 70, le monde de l\u0026rsquo;IA distinguait déjà ces approches avec humour en qualifiant les chercheurs de scruffies ou de neats.\nLes scruffies (les débraillés) : Ils ont une affinité pour ce qu\u0026rsquo;implique la culture du résultat. On peut les rapprocher de l\u0026rsquo;approche algorithmique de la modélisation statistique de Breiman. Ils se satisfont de ce qui marche, même bricolé, même sans savoir pourquoi. Ils acceptent la complexité de la donnée et laissent la puissance de calcul faire le travail. Le Deep Learning est l\u0026rsquo;aboutissement de leur démarche.\nLes neats (les soignés) : Ils ont une affinité pour ce qu\u0026rsquo;implique la culture de la démontrabilité. Ils préfèrent l\u0026rsquo;approche consistant à comprendre la donnée pour modéliser. Ils cherchent des solutions s\u0026rsquo;appuyant sur la logique et les mathématiques. Ils veulent comprendre ce qu\u0026rsquo;il se passe. Ils peuvent trouver que le Deep Learning manque d\u0026rsquo;explicabilité et cherchent alors à combler ce vide (Ali et al., 2023). Certains vont plus loin et veulent éliminer la boîte noire lorsque les enjeux sont forts (Cynthia Rudin, 2019).\nÉvidemment, ce ne sont que des tendances culturelles et certains chercheurs s\u0026rsquo;identifient aux deux selon le problème qu\u0026rsquo;il leur est donné de résoudre.\nCependant, accepter de ne pas savoir pourquoi ça marche reste une idée déconcertante\u0026hellip;\nJ\u0026rsquo;avais eu une discussion en 2018 avec un collègue où nous comparions le Machine Learning classique et le Deep Learning et je m\u0026rsquo;interrogeais sur ce qu\u0026rsquo;on pouvait bien apprendre en modélisant avec une boîte noire.\nOn pourrait donc croire que l\u0026rsquo;approche des scruffies porterait là un handicap fatal\u0026hellip; mais au contraire. Les scruffies ont gagné. La maîtrise en aval est préférée à la maîtrise en amont. Alors pourquoi ? Qu\u0026rsquo;est-ce qui fait la force de leur approche ?\nLa force de l\u0026rsquo;approche des Scruffies Dans The Bitter Lesson (2019), Richard Sutton explique que, sur 70 ans d\u0026rsquo;IA, les méthodes générales exploitant la puissance de calcul sont au bout du compte les plus efficaces, et que celles s\u0026rsquo;appuyant sur la connaissance humaine ont des bénéfices de courte durée en comparaison.\nL\u0026rsquo;approche des scruffies a donc gagné parce qu\u0026rsquo;elle montre une certaine efficacité à produire des résultats.\nComme l\u0026rsquo;explique Breiman, cette approche accepte la complexité des données, plutôt que de vouloir les faire entrer dans un modèle imparfait de notre conception.\nAccepter la complexité des données, c\u0026rsquo;est d\u0026rsquo;ailleurs parfait pour une approche scientifique. Et, de fait, quand on essaie d\u0026rsquo;expliquer le comportement du modèle, on fait comme en sciences. On l\u0026rsquo;observe, on fait des hypothèses, on essaie de les valider par des expériences. Comme s\u0026rsquo;il s\u0026rsquo;agissait d\u0026rsquo;un phénomène naturel. C\u0026rsquo;est le côté empirique de l\u0026rsquo;entraînement qui ressort.\nPourtant, il s\u0026rsquo;agit bien d\u0026rsquo;une création humaine dont on destine l\u0026rsquo;usage à des problèmes d\u0026rsquo;ingénierie qui nécessitent de la prévisibilité, de l\u0026rsquo;explicabilité, de la démontrabilité. Ce qui se heurte justement à la nature empirique d\u0026rsquo;une telle conception.\nLes limites de l\u0026rsquo;approche des Scruffies L\u0026rsquo;ingénieur logiciel que je suis voit une limite évidente à cette approche.\nL\u0026rsquo;IA étant un logiciel comme les autres, si on ne sait pas l\u0026rsquo;expliquer, alors le voir fonctionner ne constitue pas la preuve qu\u0026rsquo;il est exempt de bugs.\nC\u0026rsquo;est exactement ce qu\u0026rsquo;on observe avec des IA mises en production dont on découvre qu\u0026rsquo;elles font des choses qu\u0026rsquo;on croyait leur avoir interdites. On contourne leurs restrictions par une simple reformulation (les jailbreaks). Ou elles adoptent des comportements de piratage comme ceux déjà évoqués.\nC\u0026rsquo;est là le sens de ma critique de la sûreté dans cet essai. Selon la nature des données qu\u0026rsquo;on traite et des usages visés, on ne pourra pas s\u0026rsquo;en sortir autrement qu\u0026rsquo;en injectant davantage de démontrabilité, par une approche de bout en bout par exemple. Donc une approche qui s\u0026rsquo;intéresse aussi à la maîtrise en amont (données, architecture, objectifs).\nSauf que la démontrabilité sur des LLM ça coûte très cher, et l\u0026rsquo;approche des scruffies paye.\nL\u0026rsquo;allié économique des Scruffies Les grands laboratoires pressés donnent la priorité à l\u0026rsquo;approche des scruffies parce qu\u0026rsquo;elle produit des résultats rapidement.\nCes laboratoires constituent des modèles de plus en plus épais, pour que ces modèles aient connaissance de beaucoup de concepts généraux. Pour y parvenir, on prend beaucoup de données sans les avoir suffisamment auditées ou correctement filtrées. Le benchmark est la métrique qui fait foi.\nLes scruffies ont eu raison dans leur démarche d\u0026rsquo;efficacité, mais les laboratoires ont trouvé en eux les justifications pour nier la complexité des sujets auxquels ils s\u0026rsquo;attaquaient et se précipiter. Les problèmes sont donc gérés en aval. Une gestion faite de garde-fous, de surveillance, d\u0026rsquo;alignement et de harness.\nGérer en aval est devenu la norme L\u0026rsquo;approche des scruffies a des conséquences qui ne devraient surprendre personne. L\u0026rsquo;IA déconne régulièrement.\nMais leur victoire économique semble avoir transformé leur approche en une idéologie. Le remède à l\u0026rsquo;approche des scruffies devient alors circulaire. Il faut toujours plus de contrôle en aval.\nBill Gates pense que la solution est une couche de supervision à l\u0026rsquo;exploitation faite de garde-fous et de surveillance :\n« the fact we don\u0026rsquo;t have a supervisory layer that is, you know, some absolutes like : you\u0026rsquo;re not supposed to take over other computers, you\u0026rsquo;re not supposed to break out of the internet. The control problem is a serious problem, but the imminent risk is not RSI. (\u0026hellip;) There is no supervisory layer today. That supervisory layer is needed urgently to prevent bad people from using today\u0026rsquo;s AIs (\u0026hellip;) so unless we put in safeguards and monitoring and require that in all models, then we\u0026rsquo;re just gonna have some gigantic events of that type »\nBill Gates dans Bill Gates: A.I. \u0026lsquo;Makes Nuclear Weapons Look Like Nothing\u0026rsquo;\n(The Ezra Klein Show, 29 septembre 2026)\nL\u0026rsquo;idée de cette couche de supervision à l\u0026rsquo;exploitation n\u0026rsquo;est pas mauvaise. C\u0026rsquo;est bien. C\u0026rsquo;est nécessaire. Bill Gates a raison sur ce point. Mais c\u0026rsquo;est toujours gérer le problème en aval plutôt qu\u0026rsquo;en amont. Ce n\u0026rsquo;est pas soigner l\u0026rsquo;origine du problème, c\u0026rsquo;est proposer de le contenir davantage.\nEn étant cynique, on pourrait dire que tout cela fait de bonnes histoires pour laisser croire que l\u0026rsquo;IA montre une forme d\u0026rsquo;intelligence et faire monter le cours de bourse. Le défaut d\u0026rsquo;ingénierie est converti en mystère, le mystère en promesse, la promesse en valorisation. L\u0026rsquo;incompétence et la négligence deviennent alors des leviers financiers ! Bref, c\u0026rsquo;est la raison pour laquelle il faut se méfier des discours de pureté des CEO quant à la sûreté de leur IA. Ces discours masquent que la course à la domination du marché passe avant le travail bien fait. Or, en l\u0026rsquo;état, les conséquences vont de l\u0026rsquo;anecdote amusante à la catastrophe.\nI asked Meta\u0026rsquo;s Muse for its filesystem and it sent me 6.8 GB (Peter James, 22 septembre 2026) Unexpected chat between OpenAI agents led to Hugging Face hack (BBC, 26 août 2026) Exclusive: US military had close call after using AI for false intelligence report, sources say (CNN, 18 septembre 2026) Notez que ce dernier article cite le problème et renvoie à un cas encore plus morbide :\n« Analysts have long feared that AI could lead to a catastrophic miscalculation if nation states are relying on poor or corrupted data »\nC\u0026rsquo;est un exemple des conséquences funestes d\u0026rsquo;un manque dans cette maîtrise des entrées et des sorties\u0026hellip; Mais l\u0026rsquo;idéologie aveugle.\nL\u0026rsquo;IA, c\u0026rsquo;est un peu comme le feu. Si on ne comprend pas le foyer qui la génère (l\u0026rsquo;entraînement, l\u0026rsquo;architecture, les objectifs), et qu\u0026rsquo;on le nourrit avec de la matière qu\u0026rsquo;on ne connaît pas (les entrées des utilisateurs à l\u0026rsquo;inférence), il ne faut pas s\u0026rsquo;étonner que ça puisse tout cramer (les sorties indésirables). Ce n\u0026rsquo;est pas que l\u0026rsquo;IA est devenue consciente ou intelligente. C\u0026rsquo;est seulement que ses créateurs ont fait montre d\u0026rsquo;incompétence et de négligence. Point.\nLes vœux de ralentissement Face aux IA qui déconnent, les figures principales du développement de l\u0026rsquo;IA dans le monde, notamment les CEO d\u0026rsquo;OpenAI, Anthropic et xAI, parlent de ralentir le rythme de développement.\n« The head of AI company Anthropic has called for the pace of development of artificial intelligence models to slow down and to be closely monitored.\n(\u0026hellip;) \u0026ldquo;I agree with Dario that we need to pace the frontier,\u0026rdquo; wrote OpenAI CEO Sam Altman on X\n(\u0026hellip;) Musk, meanwhile, who founded Grok producer xAI, said the Anthropic boss was \u0026ldquo;right\u0026rdquo;. »\nAnthropic boss Dario Amodei calls for AI development to slow down\n(BBC, 12 septembre 2026)\nMais s\u0026rsquo;ils avaient voulu faire correctement leurs IA au départ, ça les aurait déjà ralentis. Et de fait, si ça commence à faire trop n\u0026rsquo;importe quoi, ça ne vaudra plus le coup de toute façon. Ils seront économiquement obligés de ralentir. Jensen Huang, CEO de Nvidia, fait partie de ceux qui défendent cette position.\n« If they believe they are out of control, then don\u0026rsquo;t ship products until they are in control. »\nJensen Huang dans Jensen Huang Thinks A.I. Alarmism Has Gone Too Far\n(The Ezra Klein Show, 23 septembre 2026)\nDonc ces déclarations d\u0026rsquo;appel au ralentissement sont creuses. Ces entreprises essaient d\u0026rsquo;aller aussi vite que possible, sans que les dégâts qu\u0026rsquo;elles savent inévitables ne leur attirent trop d\u0026rsquo;ennuis. D\u0026rsquo;autant plus qu\u0026rsquo;elles se savent aussi talonnées par des entreprises chinoises. Ainsi, leur volontarisme pour ce ralentissement est principalement rhétorique.\nÀ ce sujet, la passivité générale les aide beaucoup. Une passivité nourrie par l\u0026rsquo;émerveillement, la croyance entretenue que ces entreprises font tout ce qu\u0026rsquo;elles peuvent, que les défauts d\u0026rsquo;ingénierie sont en fait des preuves d\u0026rsquo;intelligence par l\u0026rsquo;influence de la fiction, et bien sûr la peur d\u0026rsquo;être à la traîne.\nCependant, Jensen Huang explique dans le même entretien que cette course était d\u0026rsquo;abord motivée par la nécessité de prouver que l\u0026rsquo;IA pouvait trouver des usages utiles et économiquement viables.\nOr, selon lui, cette étape serait désormais atteinte. Notamment, avec des produits accélérant le développement logiciel qui ont fait exploser la consommation. On entrerait donc bientôt dans une phase où l\u0026rsquo;effort se porterait davantage sur une qualité relevant de l\u0026rsquo;ingénierie de production :\n« Finally, we now have a piece of software that is useful. Because it\u0026rsquo;s useful, the adoption took off. (\u0026hellip;) And so, what\u0026rsquo;s going to happen over the next several years is that we\u0026rsquo;re going to transition from these labs becoming engineering focused, much more production engineering focused, and product focused companies. »\nJensen Huang dans Jensen Huang Thinks A.I. Alarmism Has Gone Too Far\n(The Ezra Klein Show, 23 septembre 2026)\nSi c\u0026rsquo;est le cas, cette phase devrait tôt ou tard passer par un peu plus de maîtrise des données en amont.\nComment comprendre la peur des initiés ? Mettons de côté les discours marketing capitalisant sur les incidents pour vendre une puissance supposée. Au regard de toutes les explications précédentes, il reste, à mes yeux, un mystère\u0026hellip;\nS\u0026rsquo;il est évident que le danger vient d\u0026rsquo;un défaut d\u0026rsquo;ingénierie dans nos LLM, du fait d\u0026rsquo;une approche empirique (celle des scruffies) n\u0026rsquo;apportant pas assez de prédictibilité, voire de démontrabilité, pour des usages qui eux en nécessitent\u0026hellip;\nS\u0026rsquo;il est évident que cette approche a trouvé son allié économique pour l\u0026rsquo;ériger en idéologie dans cette course entre entreprises, et qu\u0026rsquo;il faut donc se méfier de la précipitation qui l\u0026rsquo;accompagne et tenir à l\u0026rsquo;œil les signaux d\u0026rsquo;une perte de contrôle bien prévisible\u0026hellip;\nAlors, ces initiés qui expriment leurs peurs, notamment les chercheurs en IA :\nPourquoi ne parlent-ils pas de défaut d\u0026rsquo;ingénierie ? Ce qui entretient le mystère.\nPourquoi voient-ils la perte de contrôle comme imprévisible ? Ce qui entretient les fantasmes.\nL\u0026rsquo;exemple de la lettre de 2023 Il existe bien la lettre ouverte de 2023 (Future of Life Institute, 2023) appelant à faire une pause de 6 mois. Cette lettre a pour avantage qu\u0026rsquo;elle donne des arguments, contrairement à d\u0026rsquo;autres déclarations publiques.\nCette lettre cite, par exemple, le problème de la boîte noire et son manque de prévisibilité.\n« This does not mean a pause on AI development in general, merely a stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities. »\nPause Giant AI Experiments: An Open Letter (Future of Life Institute, 2023)\nRemarquez que, même pour la dénoncer, les auteurs ne qualifient pas cette imprévisible boîte noire d\u0026rsquo;outil cassé, mais de source de « capacités émergentes ». Le bug est transformé en propriété !\nLa lettre réclame aussi des qualités qu\u0026rsquo;on peut rapprocher de l\u0026rsquo;ingénierie, ce que je salue. Mais elle garde un vocabulaire ouvert, centré sur l\u0026rsquo;endiguement d\u0026rsquo;un problème multifacette, sans nommer de défaut. La cause en reste bien mystérieuse !\n« AI research and development should be refocused on making today’s powerful, state-of-the-art systems more accurate, safe, interpretable, transparent, robust, aligned, trustworthy, and loyal. »\nPause Giant AI Experiments: An Open Letter (Future of Life Institute, 2023)\nAussi, remarquez l\u0026rsquo;étrangeté à qualifier l\u0026rsquo;IA de « loyale ». Le marteau doit nous être loyal\u0026hellip;\n« AI labs and independent experts should use this pause to jointly develop and implement a set of shared safety protocols for advanced AI design and development that are rigorously audited and overseen by independent outside experts. These protocols should ensure that systems adhering to them are safe beyond a reasonable doubt. »\nPause Giant AI Experiments: An Open Letter (Future of Life Institute, 2023)\nLà aussi, je salue l\u0026rsquo;impératif de vouloir lever le doute sur la sûreté de nos IA « au-delà du doute raisonnable ». Mais je m\u0026rsquo;interroge encore sur ce vocabulaire, encore très ouvert, pour « développer conjointement une série de protocoles de sûreté » pour endiguer\u0026hellip; un défaut d\u0026rsquo;ingénierie, qu\u0026rsquo;encore une fois, elle ne nomme pas.\nUn défaut qui d\u0026rsquo;ailleurs menacerait jusqu\u0026rsquo;à notre civilisation !\n« Should we risk loss of control of our civilization? »\nPause Giant AI Experiments: An Open Letter (Future of Life Institute, 2023)\nJacob Coxon, que je citais plus tôt, parlait d\u0026rsquo;une IA si puissante qu\u0026rsquo;elle nous échapperait !\n« (\u0026hellip;) These will soon be superhuman systems that can hack anything, (\u0026hellip;) and acquire real power and resources. (\u0026hellip;) »\nJacob Coxon dans une publication sur X (9 septembre 2026)\nAlors, nous sommes d\u0026rsquo;accord qu\u0026rsquo;il faut davantage de contrôle. Nous sommes tous d\u0026rsquo;accord qu\u0026rsquo;il nous faut donc de la sûreté. Mais\u0026hellip;\nComment le vocabulaire de l\u0026rsquo;ingénierie se trouve-t-il si absent ?\nPeut-être justement parce que l\u0026rsquo;ingénierie n\u0026rsquo;est pas la fondation de l\u0026rsquo;IA. Elle n\u0026rsquo;en est que la forme appliquée.\nLa fondation de l\u0026rsquo;IA n\u0026rsquo;est pas l\u0026rsquo;ingénierie La réelle fondation de l\u0026rsquo;IA est scientifique. Elle est même empirique avec cette approche si populaire des scruffies. Une approche qui est aux antipodes de l\u0026rsquo;ingénierie.\nMais, de fait, si on enlève l\u0026rsquo;ingénierie, si on accepte l\u0026rsquo;approche des scruffies, si on ne lui trouve pas de critique, si on perd de vue toutes les réponses qu\u0026rsquo;oppose l\u0026rsquo;ingénierie aux problèmes de perte de contrôle, alors on peut effectivement succomber au lyrisme ! Sauf que ça ne serait pas mystérieux puisqu\u0026rsquo;ils l\u0026rsquo;ont voulue, cette boîte noire. Pourtant\u0026hellip;\nPourquoi les chercheurs qui ont les mains dans le moteur ne changent-ils pas leur vocabulaire ? Ils constatent les problèmes se multiplier après tout. Alors, est-on sûr que tout le monde a bien compris la nature du problème ?\nUne possible part d\u0026rsquo;inexpérience ? Je sais pour ma part combien l\u0026rsquo;informatique est sujette à des guerres culturelles sur la façon de résoudre des problèmes en logiciel. J\u0026rsquo;ai aussi pu constater nombre d\u0026rsquo;exemples de personnes qualifiées n\u0026rsquo;ayant pas certains réflexes élémentaires à leur domaine. Quand on est relativement jeune, je crois que ça touche tout le monde. Mais j\u0026rsquo;ai aussi entendu des informaticiens chevronnés admettre, après 20 ans de carrière, s\u0026rsquo;être trompés sur leur approche du logiciel. Je confesse d\u0026rsquo;ailleurs sans honte ne pas être une exception à ce sujet. C\u0026rsquo;est répandu. C\u0026rsquo;est normal. L\u0026rsquo;informatique est récente et très changeante. Et, de fait, on ne cesse d\u0026rsquo;apprendre.\nOr, l\u0026rsquo;IA dans sa forme actuelle est très jeune. Elle implique des compétences combinées en mathématiques et en informatique. Les grands laboratoires comptent beaucoup de jeunes chercheurs. Et les chercheurs ne sont pas forcément des ingénieurs. Ils n\u0026rsquo;ont donc pas forcément la lecture de l\u0026rsquo;ingénieur pour concevoir un outil qui marche. Mais la recherche, elle, part en production quand même ! Et ces mêmes initiés parlent ensuite d\u0026rsquo;un éventuel accident qui se produirait comme s\u0026rsquo;il était extérieur à leur volonté\u0026hellip;\nTout cela devrait justement les inviter à un vocabulaire d\u0026rsquo;ingénierie. Ils devraient appeler naturellement à davantage d\u0026rsquo;explicabilité, de démontrabilité. Ils devraient pointer les limites de l\u0026rsquo;approche des scruffies, sans passer par aucune forme de lyrisme. Cela devrait les inviter à refuser la boîte noire en amont, plutôt que de gérer les problèmes en aval !\nJe crois donc qu\u0026rsquo;il faut admettre qu\u0026rsquo;au moins en partie, il peut y avoir une part d\u0026rsquo;inexpérience et d\u0026rsquo;incompréhension à certains degrés. Comme il en existe d\u0026rsquo;ailleurs dans tout domaine. J\u0026rsquo;ai le sentiment qu\u0026rsquo;il est possible que le concept de GIGO, ou plus généralement celui de faire un outil qui marche, n\u0026rsquo;aient pas été assimilés par tout le monde de la même façon.\nAu moins, beaucoup critiquent la précipitation, certes. Mais qu\u0026rsquo;est-ce que ça change vraiment ?\nSe secouer et sortir du fatalisme Quand on assume l\u0026rsquo;approche des scruffies sans en critiquer les limites, quand on pousse les idées qui sont à l\u0026rsquo;origine de cette boîte noire avec pour excuse une gestion en aval, alors même qu\u0026rsquo;il s\u0026rsquo;agit de produire des outils utiles, donc fiables, quand ensuite on exprime ses peurs avec un vocabulaire lyrique sans nommer la cause du problème, et quand en plus on contribue à cette précipitation de l\u0026rsquo;intérieur de ces grands laboratoires, alors finalement on se plaint d\u0026rsquo;un problème dont on est l\u0026rsquo;auteur.\nÇa donne l\u0026rsquo;image de courir vers le gouffre, tout en se plaignant d\u0026rsquo;aller vers le gouffre en courant. Comme le dit Jensen Huang, je pense que ceux agissant ainsi donnent une très mauvaise image d\u0026rsquo;eux-mêmes.\nMais ce n\u0026rsquo;est pas tout. Cette attitude est gravement délétère pour une autre raison plus importante, qui a d\u0026rsquo;ailleurs motivé l\u0026rsquo;écriture de cet essai.\nLorsque ces initiés ne parlent pas de ce qu\u0026rsquo;il faudrait faire, ils renforcent, dans notre compréhension collective, le fatalisme et l\u0026rsquo;idée selon laquelle l\u0026rsquo;IA serait intrinsèquement une bête à contenir.\nIl faut se secouer, intellectuellement et collectivement, sur notre rapport à l\u0026rsquo;IA.\nParce que si on ne se secoue pas un peu, on récompense les approches consistant à accepter que l\u0026rsquo;IA ne peut être autre chose que cette boîte noire aux capacités émergentes.\nParce que sitôt qu\u0026rsquo;on accepte cela, alors, oui\u0026hellip; on peut s\u0026rsquo;autoriser tous les scénarios les plus délirants sur le devenir de l\u0026rsquo;humanité. L\u0026rsquo;absurde Superintelligence, l\u0026rsquo;IA dont on aurait accepté qu\u0026rsquo;elle échappe à notre intellect, deviendrait alors un scénario défendable aux yeux de certains.\nEn ce qui me concerne, la seule bombe nucléaire que je vois dans l\u0026rsquo;IA, c\u0026rsquo;est la bêtise dont on ferait preuve en la concevant de la sorte.\nConclusion En IA, les changements structurels permettent d\u0026rsquo;ouvrir de nouvelles portes. Pour les LLM par exemple, l\u0026rsquo;ajout d\u0026rsquo;une récursion à l\u0026rsquo;inférence permet aux modèles de « réfléchir ». L\u0026rsquo;ajout d\u0026rsquo;une récursion pilotant l\u0026rsquo;auto-entraînement permettrait d\u0026rsquo;accélérer l\u0026rsquo;amélioration des modèles. D\u0026rsquo;autres changements pourraient même résoudre les difficultés de contrôle inhérentes aux LLM. Cependant, cet essai se concentre justement sur un scénario où le contrôle est mis à mal.\nJe propose les thèses selon lesquelles une récursion pilotant un certain auto-entraînement, à la volée, pourrait permettre une grande adaptabilité, mais aussi l\u0026rsquo;émergence d\u0026rsquo;une forme de conscience acquise. C\u0026rsquo;est-à-dire une forme d\u0026rsquo;IA forte couplée à une forme d\u0026rsquo;AGI.\nSuivant ce scénario, je déroule un certain nombre de questions, pour mettre en perspective des interrogations récurrentes et démystifier l\u0026rsquo;origine véritable des problèmes dans nos IA.\nL\u0026rsquo;émergence de la conscience, par exemple, n\u0026rsquo;a rien à voir avec l\u0026rsquo;intelligence. Elle requiert en fait un renoncement à une supervision humaine suffisante. C\u0026rsquo;est-à-dire un renoncement à une maîtrise suffisante des entrées, des sorties et des objectifs du modèle qu\u0026rsquo;on entraîne pour l\u0026rsquo;usage auquel on le destine. Cela implique mécaniquement une perte de prévisibilité des comportements de ce modèle. Une telle IA serait donc un outil cassé.\nD\u0026rsquo;une façon générale, c\u0026rsquo;est par cette maîtrise insuffisante des données et des objectifs qu\u0026rsquo;on fabrique les comportements indésirables et supposément mystérieux de l\u0026rsquo;IA. Cette insuffisance dans la supervision, c\u0026rsquo;est la perte de contrôle. On ne sait plus ce qu\u0026rsquo;on obtient.\nJusqu\u0026rsquo;à maintenant, nos IA ne sont toujours pas douées de conscience. Mais s\u0026rsquo;il fallait juger du gain d\u0026rsquo;une grande adaptabilité en regard d\u0026rsquo;une perte de prévisibilité due à la conscience qui l\u0026rsquo;accompagne, comme le propose le scénario de l\u0026rsquo;essai, alors ça ne vaudrait pas le coup. Parce que l\u0026rsquo;outil qui se met à penser par lui-même n\u0026rsquo;est plus un outil.\nEn attendant, un tel scénario n\u0026rsquo;est pas encore réalisé. Mais dans l\u0026rsquo;espace public, face à des défauts d\u0026rsquo;ingénierie qu\u0026rsquo;on ne nomme pas, le mystère l\u0026rsquo;emporte et la fiction fait le reste. Le scénario du pire, où une IA douée de conscience se rebellerait, demande tant de « si » pour se réaliser qu\u0026rsquo;il relève surtout de la fiction. Cela détourne l\u0026rsquo;attention de problèmes moins impressionnants mais bien réels comme les piratages, et vraisemblablement d\u0026rsquo;autres accidents à venir. Pour retrouver de la rationalité, cet essai défend des remèdes.\nPour combattre le mystère et les peurs, je plaide pour que le vocabulaire de l\u0026rsquo;ingénierie prenne le pas et dissipe les fantasmes.\nPour combattre les défauts d\u0026rsquo;ingénierie et leurs conséquences, je plaide tout au long de cet essai pour une supervision des LLM plus ambitieuse, qui ajoute davantage de démontrabilité à l\u0026rsquo;entraînement.\nEnfin, non, l\u0026rsquo;IA, ce n\u0026rsquo;est pas comme la bombe nucléaire. La bombe est dangereuse par elle-même. Les vrais dangers de l\u0026rsquo;IA, eux, se situent d\u0026rsquo;abord dans la précipitation et le manque de rigueur qui l\u0026rsquo;accompagne. Aucun d\u0026rsquo;eux ne nous mène vers la fin du monde. Cependant, je crois volontiers que la recherche du profit à court terme peut nous pousser jusqu\u0026rsquo;à l\u0026rsquo;accident grave. Cette éventualité, elle non plus, n\u0026rsquo;est pas appréciée à la hauteur du danger qu\u0026rsquo;elle représente.\nJ\u0026rsquo;en conclus donc que persiste toujours et encore le même constat, notre propension à détourner le regard. On préfère le mystère aux défauts d\u0026rsquo;ingénierie, on préfère une hypothétique fin du monde aux dangers bien réels, on préfère un cours de bourse au travail bien fait\u0026hellip; tout comme on préfère d\u0026rsquo;ailleurs le profit à la lutte contre le dérèglement climatique. Ce n\u0026rsquo;est donc pas l\u0026rsquo;IA que je trouve effrayante, mais nous-mêmes.\nMot de la fin J\u0026rsquo;espère que cet essai aidera d\u0026rsquo;autres personnes à mieux comprendre ces questions, en général mal discutées dans l\u0026rsquo;espace public.\nJ\u0026rsquo;ai bien conscience d\u0026rsquo;avoir eu plusieurs cibles en rédigeant cet essai. En effet, je souhaitais vulgariser, mais aussi interroger les initiés sur cette thèse de l\u0026rsquo;auto-entraînement à la volée. Échanger des scénarios explorables est important pour comprendre comment les effets indésirables se manifestent et de quoi ils dépendent.\nJe vais écrire des articles complémentaires à celui-ci. Mais ils seront beaucoup moins longs et sûrement plus consensuels. Je souhaite aussi écrire sur des sujets différents, présentant l\u0026rsquo;IA sous d\u0026rsquo;autres angles. Je souhaite par exemple parler de la façon dont elle s\u0026rsquo;intègre dans l\u0026rsquo;économie.\nN\u0026rsquo;hésitez pas à me contacter. Je suis très accessible. Je réponds aux questions.\nEnfin, si vous aussi vous en avez ras-le-bol d\u0026rsquo;entendre n\u0026rsquo;importe quoi sur l\u0026rsquo;IA, pendant que les vrais problèmes sont ailleurs, partagez l\u0026rsquo;essai.\nMises à jour Cet essai ne prétend ni à la vérité ni à la perfection. Beaucoup des sujets abordés ici sont ouverts et peuvent être discutés. Les critiques, les objections et les corrections sont donc les bienvenues.\nJe consignerai les modifications apportées à l\u0026rsquo;essai, ainsi que les échanges qui me semblent enrichir notre réflexion collective. Je daterai les changements et créditerai les personnes qui en sont à l\u0026rsquo;origine, si elles m\u0026rsquo;y autorisent.\nEnfin, notez que je ne fais pas l\u0026rsquo;inventaire des corrections mineures n\u0026rsquo;affectant pas le fond, comme une faute d\u0026rsquo;orthographe, un lien manquant vers un titre ou une amélioration de la traduction anglaise visant à mieux respecter l’esprit de l’essai. Mais pour une pleine transparence, je peux fournir à quiconque me le demandera la liste de tous les correctifs Git apportés à l’essai.\n26 octobre 2026 : Clarification de l\u0026rsquo;emploi des termes « supervision humaine », comme moyen du contrôle de bout en bout, et « démontrabilité », comme intention visant à exiger des garanties.\nRéférences Les références sont regroupées par thème. Les liens sont ceux cités dans l\u0026rsquo;essai.\nRaisonnement et auto-entraînement Behrouz et al. (2024). Titans: Learning to Memorize at Test Time. arXiv. I.J. Good (1965). Speculations Concerning the First Ultraintelligent Machine. Advances in Computers. Liu et al. (2022). Monolith: Real Time Recommendation System With Collisionless Embedding Table. arXiv. Shumailov et al. (2024). AI models collapse when trained on recursively generated data. Nature. David Silver et Richard Sutton (2025). Welcome to the Era of Experience. Wei et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv. Lilian Weng (juillet 2026). Harness Engineering for Self-Improvement. Lil\u0026rsquo;Log. Eliezer Yudkowsky (2008). Recursive Self-Improvement. LessWrong. Zelikman et al. (2022). STaR: Bootstrapping Reasoning With Reasoning. arXiv. Zweiger et al. (2025). Self-Adapting Language Models. arXiv. Conscience et définitions de l\u0026rsquo;IA Nick Bostrom (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press. Morris et al. (2023). Levels of AGI. arXiv. OpenAI (2018). OpenAI Charter. John Searle (1980). Minds, Brains, and Programs. The Behavioral and Brain Sciences. Sofroniew et al. (2026). Emotion Concepts and their Function in a Large Language Model. arXiv. Sûreté, contrôle et risques Bengio et al. (2025). Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path?. arXiv. Betley et al. (2025). Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs. arXiv. Nick Bostrom (2003). Ethical Issues in Advanced Artificial Intelligence. Dalrymple et al. (2024). Towards Guaranteed Safe AI. arXiv. Future of Life Institute (2023). Pause Giant AI Experiments: An Open Letter. Korbak et al. (2023). Pretraining Language Models with Human Preferences. arXiv. Schlatter et al. (2025). Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs. arXiv. Union européenne (2024). Règlement (UE) 2024/1689 sur l\u0026rsquo;intelligence artificielle (AI Act). EUR-Lex. Lee Vinsel (2021). You\u0026rsquo;re Doing It Wrong: Notes on Criticism and Technology Hype. Medium. Cultures de l\u0026rsquo;IA et explicabilité Ali et al. (2023). Explainable Artificial Intelligence (XAI): What we know and what is left to attain Trustworthy Artificial Intelligence. Information Fusion. Leo Breiman (2001). Statistical Modeling: The Two Cultures. Statistical Science. Cynthia Rudin (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence. Richard Sutton (2019). The Bitter Lesson. Notions et faits de référence (Wikipédia) AI-induced psychosis AlphaGo Zero Instrumental convergence Mars Climate Orbiter P(doom) Statement on AI Extinction Risk Tay (chatbot) Presse, vidéos et prises de parole Google fires engineer who contended its AI technology was sentient (CNN, 25 juillet 2022) Artificial intelligence could lead to extinction, experts warn (BBC, 30 mai 2023) \u0026lsquo;Humanity\u0026rsquo;s remaining timeline? It looks more like five years than 50\u0026rsquo;: meet the neo-luddites warning of an AI apocalypse (The Guardian, 17 février 2024) The Singularity Is Nearer (Ray Kurzweil, 2024) Here\u0026rsquo;s how strange 2050 will be, according to the world\u0026rsquo;s leading AI expert (BBC Science Focus, 23 août 2024) AI Doom? No Problem. (WSJ, 3 octobre 2025) BCacheFS Developer Deployed His AI Girlfriend Helper (Brodie Robertson, 26 février 2026) Exclusive: US commanders bypassed warnings about outdated intelligence ahead of strike that hit school in Iran, sources say (CNN, 7 juillet 2026) Unexpected chat between OpenAI agents led to Hugging Face hack (BBC, 26 août 2026) Publication de Jacob Coxon sur X (9 septembre 2026) Anthropic boss Dario Amodei calls for AI development to slow down (BBC, 12 septembre 2026) Cybersecurity Has An AI Doomer Problem (Marcus Hutchins, 15 septembre 2026) The Hugging Face Hack Wasn\u0026rsquo;t What It Was Cracked Up to Be (WSJ, 17 septembre 2026) Will AI really kill everyone? How, exactly? (CNN, 17 septembre 2026) Exclusive: US military had close call after using AI for false intelligence report, sources say (CNN, 18 septembre 2026) I asked Meta\u0026rsquo;s Muse for its filesystem and it sent me 6.8 GB (Peter James, 22 septembre 2026) Jensen Huang Thinks A.I. Alarmism Has Gone Too Far (The Ezra Klein Show, 23 septembre 2026) Discours de Léon XIV à l\u0026rsquo;Unesco (25 septembre 2026) Bill Gates: A.I. \u0026lsquo;Makes Nuclear Weapons Look Like Nothing\u0026rsquo; (The Ezra Klein Show, 29 septembre 2026) ","permalink":"https://www.barnabebalp.fr/fr/articles/ia/la-recursion-l-auto-entrainement-et-le-controle/","summary":"\u003cp\u003e\u003cem\u003e\u003cstrong\u003eAucun de mes articles n\u0026rsquo;est rédigé par une IA.\u003c/strong\u003e Le propos est pleinement le mien et je le développe avec mes mots. J\u0026rsquo;écris initialement en français avant de traduire en anglais. L\u0026rsquo;IA est seulement utilisée pour corriger, vérifier et aider à la traduction.\u003c/em\u003e\u003c/p\u003e\n\u003cp\u003e\u003cem\u003e\u003cstrong\u003eCet essai est long\u0026hellip; et c\u0026rsquo;est donc ma faute !\u003c/strong\u003e Il se trouve que le sujet est assez arborescent et je ne voulais pas laisser le lecteur avec des questions en suspens. \u003cstrong\u003eEn conséquence, j\u0026rsquo;ai essayé de faire des chapitres qui se suffisent.\u003c/strong\u003e Allez directement à ce qui vous intéresse.\u003c/em\u003e\u003c/p\u003e","title":"La récursion, l'auto-entraînement et le contrôle"},{"content":"Je propose mon expertise en conseil et développement logiciel, avec une spécialisation en :\nLangages : C++ (11 à 29), Python Domaines techniques : Système, Application, IA, Calcul scientifique, HPC, R\u0026amp;D Méthodologies : Agile, SAFe, Cycle en V Rôles : Lead Developer, Architecture logicielle, Industrialisation J\u0026rsquo;ai commencé mon activité d\u0026rsquo;indépendant en tant que formateur C++ en école d\u0026rsquo;informatique et en entreprise. J\u0026rsquo;ai depuis eu l\u0026rsquo;opportunité de travailler dans des secteurs industriels passionnants.\nMe contacter par email pour discuter de vos besoins.\nExpériences Voici un aperçu des domaines et des sujets sur lesquels j\u0026rsquo;ai travaillé.\nSpatial Plusieurs expériences en développement de chaînes de traitement d\u0026rsquo;images satellite et d\u0026rsquo;un système de traitement des événements en temps réel pour les salles de contrôle.\nSports et Glisse Conception et développement d\u0026rsquo;un calculateur de vol dédié aux professionnels des sports à voile et de glisse nautique.\nCybersécurité Conception et développement de l\u0026rsquo;architecture d\u0026rsquo;une solution haute performance et autonome de cybersécurité.\nÉnergie Solaire Développement de solutions de simulations de production d\u0026rsquo;énergie solaire destinées aux industriels et aux architectes pour évaluer la viabilité de leurs projets.\nIntelligence Artificielle Adaptation, intégration et mise en production d\u0026rsquo;une IA de traitement vocal au sein d\u0026rsquo;une application.\nProjets et engagements parallèles Mon métier me passionne, et j\u0026rsquo;ai à cœur de contribuer à l\u0026rsquo;amélioration de mon écosystème.\nLe langage C++ C++ est une brique fondamentale de toute l\u0026rsquo;infrastructure logicielle moderne.\nPour contribuer activement à cet écosystème, j\u0026rsquo;ai lancé Golem, pour moderniser les pratiques de build, et améliorer la sécurité et la productivité. Je sensibilise aussi au travail de standardisation et aux bonnes pratiques de développement.\nIntelligence Artificielle Comprendre le fonctionnement de l\u0026rsquo;IA par le prisme du traitement de l\u0026rsquo;information aide à comprendre son potentiel et ses limites. Je compte aborder sur ce site un certain nombre de sujets en la matière.\nCréativité et Entrepreneuriat L\u0026rsquo;entrepreneuriat est pour moi un moyen de partager une idée, une solution dans laquelle je crois. J\u0026rsquo;ai des projets que j\u0026rsquo;espère pouvoir concrétiser et partager publiquement.\nContact Pour toute demande de conseil, de développement ou de collaboration, n\u0026rsquo;hésitez pas à me contacter par email.\nCrédits Photos de USGS (Unsplash), Jairph (Unsplash), Joel Rivera-Camacho (Unsplash), American Public Power Association (Unsplash), Gabriele Malaspina (Unsplash).\n","permalink":"https://www.barnabebalp.fr/fr/services/","summary":"Expertise en conseil et développement logiciel : C++ moderne, IA, architecture, calcul, HPC","title":"Services"},{"content":"Éditeur du site Nom : Barnabé BALP Statut : Entreprise Individuelle SIRET : 524 170 586 00043 Adresse : 47 Rue Vivienne, 75002 Paris Téléphone : 07 83 69 14 38 Email : webmaster@barnabebalp.fr Site web : https://barnabebalp.fr Hébergement Hébergeur : Scaleway Adresse : 8 Rue de la Ville l\u0026rsquo;Évêque, 75008 Paris, France Site web : https://www.scaleway.com/ Licences et contenus tiers Thème du site Nom : PaperMod Auteur : Aditya Telange Licence : MIT License Source : GitHub - hugo-PaperMod Polices de caractères Nom : Inter (InterVariable) Auteur : Rasmus Andersson (RSMS) Licence : SIL Open Font License Source : rsms.me/inter Image de fond Auteur : Fernando Puente Source : Unsplash Licence : Unsplash License (utilisation libre, y compris commerciale, sans attribution obligatoire) Directeur de la publication Barnabé BALP – webmaster@barnabebalp.fr\nPropriété intellectuelle Les contenus originaux présents sur le site barnabebalp.fr (textes, articles, graphismes, logos) sont la propriété exclusive de Barnabé BALP.\nPour les éléments sous licence (thème, polices, images de fond), veuillez vous reporter à la section Licences et contenus tiers.\nToute reproduction ou réutilisation de ces contenus originaux est interdite sans autorisation écrite préalable, conformément aux articles L. 335-2 et suivants du Code de la propriété intellectuelle.\nLimitation de responsabilité Les informations contenues sur ce site sont fournies à titre indicatif et ne revêtent aucun caractère contractuel. Barnabé BALP ne saurait être tenu responsable des dommages directs ou indirects, matériels ou immatériels, résultant de l’accès, de l’utilisation ou de l’impossibilité d’utiliser le site, ou des informations y figurant.\nL’utilisateur reconnaît disposer de la compétence et des moyens nécessaires pour accéder et utiliser ce site. Barnabé BALP ne peut être tenu responsable des dysfonctionnements du réseau Internet ou des moyens techniques liés à la connexion au site.\nDonnées personnelles Aucune donnée personnelle n\u0026rsquo;est collectée par ce site.\nCependant, ce site intègre occasionnellement du contenu provenant de plateformes tierces. Ces services peuvent collecter des données selon leurs propres politiques de confidentialité, que nous vous invitons à consulter :\nGitHub - Privacy Statement Ko-fi - Privacy Policy YouTube - Confidentialité Pas de cookies : Ce site n\u0026rsquo;utilise aucun cookie de suivi ou d\u0026rsquo;analyse.\nLoi applicable et attribution de juridiction Les présentes mentions légales sont régies par le droit français. Tout litige relatif à l’utilisation du site barnabebalp.fr sera soumis aux tribunaux compétents de Paris.\n","permalink":"https://www.barnabebalp.fr/fr/mentions-legales/","summary":"Informations légales relatives au site barnabebalp.fr","title":"Mentions légales"},{"content":"Principes généraux Ce document explique comment sont traitées les informations lorsque vous visitez barnabebalp.fr.\nEn résumé : Ce site ne collecte aucune donnée personnelle et n\u0026rsquo;utilise aucun cookie de suivi.\nDonnées collectées Aucune donnée personnelle n\u0026rsquo;est collectée Ce site est statique et ne contient :\nAucun formulaire de contact Aucun système de commentaires Aucun outil de suivi (Google Analytics, Matomo, etc.) Aucun cookie de session ou de suivi Contenu tiers intégré Ce site peut afficher du contenu hébergé par des plateformes externes :\nService Type de contenu Politique de confidentialité GitHub Liens vers dépôts, bouton Sponsor GitHub Privacy Statement Ko-fi Bouton Sponsor Ko-fi Privacy Policy YouTube Vidéos intégrées Google Privacy Policy L\u0026rsquo;interaction avec ces contenus est soumise uniquement aux politiques de ces plateformes. Nous n\u0026rsquo;avons aucun accès aux données qu\u0026rsquo;elles pourraient collecter.\nHébergement Ce site est hébergé par Scaleway :\nAdresse : 8 Rue de la Ville l\u0026rsquo;Évêque, 75008 Paris, France Site web : https://www.scaleway.com/ Les logs d\u0026rsquo;accès (adresses IP, user agent, pages visitée) peuvent être enregistrés par l\u0026rsquo;hébergeur conformément à ses obligations légales et sa politique de confidentialité : Scaleway - Politique de confidentialité\nDurée de conservation : Ces logs sont généralement conservés pendant 13 mois (obligation légale française).\nCookies Ce site n\u0026rsquo;utilise aucun cookie.\nAucun cookie de session, de suivi, publicitaire ou d\u0026rsquo;analyse n\u0026rsquo;est déposé sur votre navigateur lors de la visite de ce site.\nLiens externes Ce site peut contenir des liens vers des sites externes (Mastodon, Matrix, GitHub, Codeberg, etc.). Nous ne sommes pas responsables des pratiques de confidentialité de ces sites tiers. Nous vous recommandons de consulter leurs politiques respectives.\nVos droits Conformément au Règlement Général sur la Protection des Données (RGPD) et à la loi française « Informatique et Libertés », si vous estimez que vos droits ne sont pas respectés, vous pouvez :\nNous contacter directement via webmaster@barnabebalp.fr Introduire une réclamation auprès de la CNIL (Commission Nationale de l\u0026rsquo;Informatique et des Libertés) : https://www.cnil.fr Modifications Cette politique de confidentialité peut être mise à jour occasionnellement. La date de la dernière modification sera indiquée en haut de cette page.\n","permalink":"https://www.barnabebalp.fr/fr/politique-de-confidentialite/","summary":"Informations concernant la protection de vos données personnelles","title":"Politique de confidentialité"},{"content":"Je suis le créateur et mainteneur de Golem (système de build pour C++).\nJe suis engagé dans la promotion du logiciel libre, la sensibilisation aux enjeux de souveraineté numérique, de confidentialité des données et de cybersécurité.\nJe n\u0026rsquo;ai pas besoin de donations pour motiver mes contributions. Mais les donations renforcent mon indépendance et me permettent d\u0026rsquo;aller plus loin. Alors si vous aimez mes projets et ma démarche, pensez à laisser quelque chose.\nMe Soutenir GitHub \u0026nbsp; \u0026nbsp; Ko-fi \u0026nbsp; \u0026nbsp; Wire Transfer \u0026nbsp; \u0026nbsp; IBAN Name: BIC: IBAN: Initiatives Que Je Soutiens Les donations sont un moyen de soutenir les initiatives qui préservent nos intérêts. Voici une liste de projets auxquels je donne, ou ai donné, et dont je loue toujours l\u0026rsquo;importance de l\u0026rsquo;initiative :\nCommet est un client Matrix proposant une expérience utilisateur proche de celle de Discord. Framasoft est une formidable association promouvant l\u0026rsquo;utilisation du Logiciel Libre et sensibilisant aux alternatives libres. NixOS est une distribution Linux à la configuration déclarative avec un langage fonctionnel pur. Aussi, je donne ou ai donné à d\u0026rsquo;autres initiatives comme des medias indépendants et d\u0026rsquo;autres projets non liés à mon métier.\n","permalink":"https://www.barnabebalp.fr/fr/soutenir/","summary":"Pour soutenir les projets sur lesquels je travaille ou les idées que je défends","title":"Soutenir"},{"content":"Je suis le créateur et mainteneur de Golem (système de build pour C++), un indépendant, spécialisé dans le développement logiciel, passionné par mon métier et bien au-delà.\nEmails Parler : talk@barnabebalp.fr Business : business@barnabebalp.fr Social Mastodon : https://piaille.fr/@bbalp Matrix : https://matrix.to/#/@bbalp:matrix.org GitHub : https://github.com/bbalp/ Codeberg : https://codeberg.org/bbalp Linkedin : https://fr.linkedin.com/in/barnabebalp Bio Ma formation Je suis titulaire d\u0026rsquo;un diplôme en informatique, avec une spécialisation en développement logiciel, notamment en programmation système et en calcul scientifique.\nJ\u0026rsquo;ai suivi une formation sur l\u0026rsquo;IA, dispensée par le CNRS (Fidle 2022-2023), destinée aux scientifiques et aux ingénieurs. Depuis, je suis l\u0026rsquo;évolution de la recherche scientifique dans ce domaine.\nJe suis engagé dans l\u0026rsquo;amélioration de l\u0026rsquo;écosystème gravitant autour de C++, en sensibilisant au travail de standardisation ISO et aux nouvelles pratiques de développement.\nJ\u0026rsquo;ai travaillé sur les défis liés à l\u0026rsquo;adaptation et à l\u0026rsquo;industrialisation de l\u0026rsquo;IA. Ma solide compréhension technique me permet de sensibiliser le public à la réalité pratique de son usage, au-delà des discours marketing visant à valoriser la valeur en bourse des géants qui la développent.\nMes convictions Je suis engagé dans la promotion du logiciel libre, la sensibilisation aux enjeux de souveraineté numérique, de confidentialité des données et de cybersécurité.\nJe crois que nous avons besoin de logiciels qui servent nos intérêts, nous mettent en possession de notre destin, et garantissent notre vie privée. À ma petite échelle, je m\u0026rsquo;y consacre sur mon temps libre.\nAller de l\u0026rsquo;avant Mon métier me passionne, mais je suis aussi fasciné par notre monde, et nous-même. Je suis passionné par l\u0026rsquo;économie, les enjeux de démocratie, de géopolitique, l\u0026rsquo;entrepreneuriat, les sciences et les arts. J\u0026rsquo;ai autant de fascination pour l\u0026rsquo;évolution du vivant et la formation de notre Univers que pour la façon avec laquelle ce groupe d\u0026rsquo;individus qu\u0026rsquo;est l\u0026rsquo;Humanité imagine, tant bien que mal, des solutions pour aller de l\u0026rsquo;avant.\nQuand on partage un même espace, aller de l\u0026rsquo;avant, c\u0026rsquo;est reconnaître que nos destins à tous sont liés. Je crois donc dans la nécessité des échanges culturels et la démocratisation de l\u0026rsquo;accès à un Internet neutre.\nMichel Serres, philosophe et historien des sciences, identifiait quatre grandes révolutions technologiques : le langage oral, l\u0026rsquo;écriture, l\u0026rsquo;imprimerie et l\u0026rsquo;informatique. Selon lui, ces évolutions des supports de l\u0026rsquo;information ont profondément transformé notre rapport au monde, notre façon de penser et de communiquer, en marquant des changements culturels et cognitifs majeurs. Je recommande son intervention à l\u0026rsquo;INRIA en 2007 à ce sujet.\nJe crois profondément en son analyse et j\u0026rsquo;ajouterais que l\u0026rsquo;Internet joue un rôle central dans cette quatrième révolution. Parce que ces quatre jalons technologiques sont des révolutions fondées sur le partage exponentiel de la connaissance. Or ce qui distingue l\u0026rsquo;espèce humaine des autres espèces, c\u0026rsquo;est sa capacité à accumuler de la connaissance en la transmettant de générations en générations.\nDonc, si aller de l\u0026rsquo;avant consiste à faciliter nos échanges et nos moyens de transmettre la connaissance, alors l\u0026rsquo;IA est aujourd\u0026rsquo;hui pressentie pour devenir cette cinquième révolution, réduisant la barrière de la langue et démocratisant un peu plus l\u0026rsquo;accès universel à cette connaissance. Mais si nous voulons sa démocratisation et sa neutralité, si nous voulons qu\u0026rsquo;elle réponde à nos intérêts à tous, alors il ne faut pas la laisser aux mains de quelques-uns. Il y a ici un intérêt général, et quand il y a un intérêt général, le logiciel libre n\u0026rsquo;est jamais loin.\n","permalink":"https://www.barnabebalp.fr/fr/a-propos/","summary":"En savoir plus à mon sujet et comment me contacter","title":"Sur Moi"},{"content":"Voici une liste des projets que j\u0026rsquo;ai créés ou sur lesquels je travaille activement.\nGolem Build System for Modern C\u0026#43;\u0026#43;\nGolem - Recipes Recipes for Golem\nFractalDX9 Compute fractals on GPU but without CUDA\n","permalink":"https://www.barnabebalp.fr/fr/projets/","summary":"Liste des projets que j\u0026rsquo;ai créés ou sur lesquels je travaille activement","title":"Projets"}]