L’IA est un risque pour elle-même car sa production incessante risque d’inonder sa base de référence et, par une boucle autophagique, pourrir sa production ; elle est aussi un risque pour notre matière noire intellectuelle si elle en vient à grand-remplacer notre propre expertise technologique.

L’été dernier est sorti GitHub Copilot, un assistant virtuel de programmation. À l’aide d’un simple commentaire d’instruction, Copilot écrit l’algorithme à notre place¹. Il faut le voir pour le croire, c’est très impressionnant. Continuellement amélioré par ses développeurs, cet outil fait l’effet d’une petite révolution dans le monde de l’informatique. Et les débats font rage.
Par nature, l’analyse systématique informatisée est pertinente et efficace lorsque les données sont structurées et redondantes dans leurs syntaxes et leur fonctionnement. Le code informatique apparaît donc comme le candidat idéal pour “nourrir” et former une IA apte à la programmation, d’où le succès notable d’un tel produit.

Un développeur sur Hacker News d’écrire² :

À chaque fois qu’une technologie “magique” apparaît, p. ex. les macro-assembleurs, les compilateurs de haut niveau, [etc.] la meilleure contribution humaine se déplace simplement vers le niveau d’abstraction supérieur. Et étant donné qu’on fournit à peu près la même quantité de travail à chaque niveau, le résultat est plus intéressant et plus productif au fil du temps.

C’est indéniable : plus l’IA apprend à faire les tâches de base (ici programmer), plus notre contribution en tant qu’humain sera orientée vers le niveau d’abstraction supérieure – c’est-à-dire ici la supervision de ce que fait l’IA. Avec Github Copilot, étant donné la productivité formidable de l’outil, on peut imaginer une scission des rôles dans les emplois en informatique : certains “développeurs” seront cantonés à l’écriture d’instructions pour l’IA, d’autres au débuggage du code écrit par l’IA et une petite minorité seulement continuera de programmer des algorithmes trop complexes ou subtils pour l’IA. En tout cas, la plupart des développeurs n’existera plus en tant que tels mais deviendra des assistants au travail de l’IA – des assistants de l’assistant virtuel dont la formation professionnelle sera bien plus accessible et moins poussée. L’avenir n’est certainement pas rose pour les cols blancs…
Mais justement, plus on a affaire à l’abstraction supérieure, moins on est en contact avec l’expertise réelle, celle qui fait tenir toute la complexité technologique dont nous héritons au quotidien sans même nous en rendre compte. Car lorsqu’on délègue les travaux concrets à l’IA, on choisit aussi de se déconnecter des savoirs mobilisables grâce auxquels notre monde fonctionne. Comme en parle Samo Burja³, en faisant cela nous délaissons la « matière noire intellectuelle » de notre civilisation⁴, ce savoir tacite qui permet aux techonologies de fonctionner sur des générations, voir des millénaires.

C’est un pari risqué : si un jour l’IA n’est plus là, que se passera-t-il ? Comment fera-t-on si personne ne maitrîse plus la technologie originelle qui nous a permis d’en arriver où nous sommes actuellement ? Plus personne ne pourra reconstituer cette matière noire car plus personne n’aura la connaissance nécessaire pour recréer ce sur quoi repose notre société.
En léguant ce genre de pratiques exigeantes à l’IA, nous contractons de notre plein gré une « dette technologique » auprès de nos prédecesseurs. Nous acceptons de construire sur la technologie de ceux qui ont bâti notre monde (et qui ne sont plus là pour en témoigner) sans même la comprendre. Nous acceptons de dépendre de leurs exploits sans pouvoir les répéter. Nous vivons alors l’histoire “en lecture seule”.

Et ce pari se fait au dépend l’IA elle-même. Car pour générer le résultat qu’on attend, une IA doit être “nourrie” par des données. Plus ces données sont qualitatives, plus elle offrira des réponses satisfaisantes.
Alors qui alimentera l’IA si plus personne ne développe la compétence nécessaire à la production d’un corpus qualitatif sur lequel l’IA peut se baser ? L’IA elle-même peut-être ?
Sûrement pas. Car en innondant internet de ces productions, on prend le risque de dégrader la qualité des données d’entrée et donc de dégrader progressivement la qualité des productions de l’IA. On entre dans une boucle de rétroaction négative :

• Si l’IA peint (par exemple grâce à Midjourney ou Dall-E), personne ne peindra plus à un si haut niveau de technicité ; et si personne ne peint plus suffisamment bien, alors l’IA n’aura plus de quoi s’alimenter si ce n’est par sa propre production ; comme sa propre production n’est jamais au niveau des peintres les plus subtils, le circuit « pourrit » peu à peu, et l’IA se dégrade progressivement.
• Si l’IA code (par exemple grâce à Copilot), personne ne codera plus à un si haut niveau de technicité ; et si personne ne code plus suffisamment bien, alors l’IA n’aura plus de quoi s’alimenter si ce n’est par sa propre production ; comme sa propre production n’est jamais au niveau des programmeurs les plus expérimentés, le circuit « pourrit » peu à peu, et l’IA se dégrade progressivement.

On est donc en droit de se demander si la démocratisation de l’IA, en remplaçant certains emplois qualifiés, ne finira pas par « tuer » certaines pratiques exigeantes et ainsi dégrader ce savoir tacite aussi essentiel pour nos sociétés qu’invisible à nos yeux.

Conserver cette matière noire, ce savoir tacite, c’était jadis le rôle des monastères³. En effet, on doit par exemple aux monastères chrétiens la plupart des textes connus de Grèce Antique. Mais tous ces textes ne représenteraient que 13% du corpus réel, perdu à jamais. Ces institutions, en vivant en autarcie, étaient complètement indépendantes du système et de l’infrastructure de leur temps. En fait, ce mode de subsistence a instauré les conditions idéales pour la perpétuation d’un savoir non-essentiel à l’activité économique immédiate mais primordiale à la constitution d’une civilisation. En gardant et en ré-actualisant perpétuellement les savoirs originels, ils ont su maintenir en place les piliers sur lesquels nos infrastructures sociales et technologiques reposent.
Où sont les monastères aujourd’hui ?