Menu Fermer

Quelqu’un devrait faire un jeu sur le thème suivant : garder une IA dans sa boîte.

En 2016, l’informaticien Andrew Ng a comparé le fait de s’inquiéter de l’IA superintelligente à celui de s’inquiéter de la surpopulation sur Mars. Nous n’avons même pas encore atterri sur la planète, a-t-il dit, alors pourquoi devrions-nous commencer à nous inquiéter ? L’IA moderne peut faire des tours de passe-passe, c’est sûr, mais elle est à mille lieues de représenter une menace existentielle pour l’humanité.

Le problème de ce raisonnement est qu’il ne tient pas compte du temps qu’il nous faudra peut-être pour résoudre ce que les chercheurs en IA appellent “le problème de l’alignement”, et ce que les observateurs comme moi appellent “des trucs assez bizarres”. Il y a beaucoup d’idées sur lesquelles je vais devoir zoomer pour expliquer pourquoi, mais les points clés sont les suivants : Une IA superintelligente pourrait émerger très rapidement si nous concevons un jour une IA capable de concevoir de l’IA, le produit d’une telle explosion d’intelligence récursive pourrait bien avoir des objectifs qui ne s’alignent pas sur les nôtres, et il y a peu de raisons de penser qu’elle nous laisserait appuyer sur l’interrupteur.

Comme le philosophe Nick Bostrom se plaît à le dire, le problème n’est pas la malveillance, mais la compétence. C’est lui qui est à l’origine de cette expérience de pensée sur une IA qui entreprend de transformer l’univers entier en trombones, un fantasme que vous pouvez et devez vivre grâce à ce jeu gratuit en ligne. Une partie particulièrement épicée de la boulette de viande apocalyptique est qu’en donnant à une IA presque littéralement n’importe quel objectif, nous lui donnerions probablement aussi par inadvertance certains objectifs instrumentaux, comme maximiser sa propre puissance de calcul ou éliminer tout agent qui pourrait se trouver sur son chemin.

Lire la suite