Risque de catastrophe planétaire lié à l'intelligence artificielle générale

Les risque existentiel ou risque de catastrophe planétaire lié à l'intelligence artificielle générale est un risque d'extinction humaine ou autre catastrophe mondiale irréversible hypothétiquement associé à des progrès substantiels dans l'intelligence artificielle générale (IAG). alt=Source: mikemacmarketing|vignette|290x290px Un argument avancé est que l'espèce humaine domine actuellement les autres espèces parce que le cerveau humain a des capacités qui manquent aux autres animaux. Si l'IA dépasse l'humanité en matière d'intelligence générale et devient « superintelligente », alors elle pourrait devenir difficile voire impossible à contrôler pour les humains. Tout comme le sort du gorille dépend aujourd'hui de la bonne volonté des humains, le sort de l'humanité pourrait dépendre des actions d'une future superintelligence artificielle. La probabilité de ce type de scénarios est largement débattue et dépend en partie des futurs progrès en intelligence artificielle. Des inquiétudes à propos des superintelligences ont été formulées par d'éminents chercheurs et chefs d'entreprises comme Geoffrey Hinton, Alan Turing, Sam Altman, Stephen Hawking, Bill Gates ou Elon Musk. Selon une étude réalisée en 2022, environ la moitié des chercheurs en IA estiment à 10 % ou plus le risque qu'un échec à contrôler l'intelligence artificielle cause l'extinction humaine. Contrôler une superintelligence artificielle, ou lui inculquer des valeurs compatibles avec l'homme, peut s'avérer plus difficile qu'on ne le supposerait naïvement. De nombreux chercheurs pensent qu'une superintelligence résisterait aux tentatives faites pour l'éteindre ou pour modifier ses objectifs (car cela l'empêcherait d'atteindre ses objectifs actuels) et qu'il sera extrêmement difficile d'aligner la superintelligence sur l'ensemble des valeurs humaines et contraintes importantes. Des sceptiques tels que Yann Le Cun affirment au contraire que les superintelligences artificielles n'auront aucun désir d'auto-préservation.