Risque de catastrophe existentielle : aucune preuve que l’IA puisse être contrôlée

Patrick Lesggie

Une analyse approfondie effectuée par le Dr. Yampolskiy ne révèle aucune preuve actuelle que l’AI peut être contrôlée en toute sécurité, conduisant à un appel à un arrêt du développement de l’AI jusqu’à ce que la sécurité puisse être assurée. Son prochain livre aborde les risques existentiels et le besoin crucial de mesures de sécurité renforcées pour l’IA.

Mettant en évidence l’absence de preuves de la contrôlabilité de l’IA, le Dr. Yampolskiy met en garde contre les risques existentiels impliqués et préconise une approche prudente du développement de l’IA, centrée sur la sécurité et la minimisation des risques.

Il n’existe actuellement aucune preuve que l’IA puisse être contrôlée en toute sécurité, selon une analyse approfondie, et sans preuve que l’IA puisse être contrôlée, elle ne devrait pas être développée, prévient un chercheur.

Malgré la reconnaissance que le problème du contrôle de l’IA puisse être l’un des problèmes les plus importants auxquels l’humanité est confrontée, il reste mal compris, mal défini et mal étudié, explique le Dr Roman V. Yampolskiy.

Dans son prochain livre, L’IA : Inexplicable, Imprevisible, Incontrôlable, l’expert en sécurité de l’IA, le Dr. Yampolskiy, examine les moyens par lesquels l’IA a le potentiel de remodeler radicalement la société, pas toujours à notre avantage.

Il explique : « Nous sommes confrontés à un événement presque garanti avec le potentiel de provoquer une catastrophe existentielle. Il n’est pas surprenant que beaucoup considèrent cela comme le problème le plus important auquel l’humanité n’ait jamais été confrontée. Le résultat pourrait être la prospérité ou l’extinction, et le destin de l’univers repose en équilibre. »

Superintelligence incontrôlable

Le Dr. Yampolskiy a effectué un examen approfondi de la littérature scientifique sur l’IA et affirme n’avoir trouvé aucune preuve que l’IA puisse être contrôlée en toute sécurité – et même s’il existe certains contrôles partiels, ils ne seraient pas suffisants.

Il explique : « Pourquoi tant de chercheurs supposent-ils que le problème du contrôle de l’IA est soluble ? A notre connaissance, il n’y a aucune preuve de cela, aucune preuve. Avant de se lancer dans une quête pour construire une IA contrôlée, il est important de montrer que le problème est soluble.

“Ce fait, combiné aux statistiques montrant que le développement de la Superintelligence de l’IA est un événement presque garanti, montre que nous devrions soutenir un effort significatif de sécurité pour l’IA. »

Il soutient que notre capacité à produire des logiciels intelligents dépasse largement notre capacité à les contrôler ou même à les vérifier. Après une revue exhaustive de la littérature, il suggère que les systèmes intelligents avancés ne pourront jamais être entièrement contrôlables et présenteront donc toujours un certain niveau de risque, quel que soit le bénéfice qu’ils apportent. Il estime que l’objectif de la communauté de l’IA devrait être de minimiser ce risque tout en maximisant les bénéfices potentiels.

Quels sont les obstacles?

L’IA (et la superintelligence), diffèrent des autres programmes par sa capacité à apprendre de nouveaux comportements, à ajuster ses performances, et à agir de manière semi-autonome dans des situations nouvelles.

Un problème pour rendre l’IA « sûre » est que les décisions possibles et les échecs d’un être superintelligent devenant plus capable sont infinis, de sorte qu’il existe un nombre infini de problèmes de sécurité. Prédire simplement les problèmes peut ne pas être possible et les atténuer par des correctifs de sécurité pourrait ne pas suffire.

En même temps, Yampolskiy explique, l’IA ne peut pas expliquer ce qu’elle a décidé, et/ou nous ne pouvons pas comprendre l’explication donnée car les humains ne sont pas assez intelligents pour comprendre les concepts implémentés. Si nous ne comprenons pas les décisions de l’IA et si nous n’avons qu’une « boîte noire », nous ne pouvons pas comprendre le problème et réduire la probabilité d’accidents futurs.

Par exemple, les systèmes d’IA se voient déjà confier la prise de décisions dans les domaines de la santé, de l’investissement, de l’emploi, de la banque et de la sécurité, pour n’en citer que quelques-uns. De tels systèmes devraient être en mesure d’expliquer comment ils sont parvenus à leurs décisions, notamment pour montrer qu’ils sont dépourvus de biais.

Yampolskiy explique : « Si nous nous habituons à accepter les réponses de l’IA sans explication, en traitant essentiellement la personne comme un système Oracle, nous ne pourrions pas savoir si elle commence à fournir des réponses erronées ou manipulateures. »

Contrôler l’incontrôlable

A mesure que la capacité de l’IA augmente, son autonomie augmente également, mais notre contrôle sur elle diminue, explique Yampolskiy, et une autonomie accrue est synonyme d’une diminution de la sécurité.

Par exemple, pour que la superintelligence évite d’acquérir des connaissances inexactes et élimine tout biais de ses programmeurs, elle pourrait ignorer toutes ces connaissances et redécouvrir/éprouver tout à partir de zéro, mais cela éliminerait également tout parti pris en faveur de l’humain.

“Les agents moins intelligents (les personnes) ne peuvent pas contrôler de manière permanente des agents plus intelligents (les ASI). Ce n’est pas parce que nous pourrions ne pas trouver une conception sûre pour la superintelligence dans les vastes espaces de toutes les conceptions possibles, mais parce qu’une telle conception n’est pas possible, elle n’existe pas. La superintelligence ne se rebelle pas, elle est incontrôlable dès le départ », explique-t-il.

“L’humanité est confrontée à un choix, devenons-nous comme des bébés, pris en charge mais sans contrôle, ou rejetons-nous l’idée d’avoir un protecteur serviable mais restons en charge et libres.”

Il suggère qu’un point d’équilibre pourrait être trouvé, grâce auquel nous sacrifions une certaine capacité en échange d’un certain contrôle, en fournissant au système un certain degré d’autonomie.

Aligner les valeurs humaines

Une suggestion de contrôle consiste à concevoir une machine qui suive précisément les ordres humains, mais Yampolskiy souligne le potentiel de conflits de commande, d’interprétation erronée ou d’utilisation malveillante.

Il explique : « Les humains en contrôle peuvent conduire à des ordres contradictoires ou explicitement malveillants, tandis qu’une IA en contrôle signifie que les humains ne le sont pas. »

Si l’IA agissait davantage comme un conseiller, cela pourrait contourner les problèmes d’interprétation erronée des ordres directs et le potentiel d’ordres malveillants, mais l’auteur soutient que pour que l’IA soit un conseiller utile, elle doit avoir des valeurs supérieures.

La plupart des chercheurs en sécurité de l’IA cherchent un moyen d’aligner la future superintelligence sur les valeurs de l’humanité. Une IA alignée sur les valeurs sera biaisée par définition, un biais pro-humain, bon ou mauvais, est toujours un biais. Le paradoxe d’une IA alignée sur les valeurs est qu’une personne ordonnant explicitement à un système d’IA de faire quelque chose peut obtenir un « non » tandis que le système essaie de faire ce que la personne veut réellement. L’humanité est protégée ou respectée, mais pas les deux,” explique-t-il.

Minimiser le risque

Pour minimiser le risque de l’IA, il affirme que celle-ci doit être modifiable avec des options ‘annuler’, limitée, transparente et facile à comprendre en langage humain.

Il suggère que toute l’IA devrait être classée comme contrôlable ou incontrôlable, et que rien ne devrait être exclu, et que des moratoires limités, voire des interdictions partielles de certains types de technologie de l’IA devraient être envisagés.

Au lieu d’être découragés, dit-il : « C’est plutôt une raison, pour plus de gens, de creuser plus profondément et d’intensifier les efforts et le financement pour la recherche en sécurité et en sûreté de l’IA. Nous n’atteindrons peut-être jamais un niveau de sécurité de 100 % pour l’IA, mais nous pouvons la rendre plus sûre proportionnellement à nos efforts, ce qui est bien mieux que de ne rien faire. Nous devons utiliser cette opportunité avec sagesse.”