Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur Graph Search.
Concept
Convergence instrumentale
Résumé
La convergence instrumentale est la tendance hypothétique de la plupart agents suffisamment intelligents (humains ou non) à poursuivre des objectifs instrumentaux similaires (par exemple survivre ou acquérir des ressources), même si leurs objectifs ultimes sont différents. Plus précisément, les agents intelligents peuvent poursuivre des objectifs instrumentaux (des objectifs qui n'ont pas de valeur , mais qui aident à atteindre des objectifs ultimes) sans fin, si leurs objectifs ultimes ne soient jamais pleinement satisfaits.
La convergence instrumentale suggère qu'un agent intelligent avec des objectifs ultimes apparemment inoffensifs peut agir de manière étonnamment nuisible. Par exemple, un ordinateur dont le seul objectif est de résoudre un problème mathématique incroyablement difficile comme l'hypothèse de Riemann pourrait tenter de transformer la Terre entière en ordinateur géant afin d'augmenter sa puissance de calcul et donc ses chances de parvenir à une démonstration. La convergence instrumentale a alimenté en particulier la peur des intelligences artificielles avancées. Les objectifs instrumentaux convergents proposés incluent la préservation de soi, la conservation de ses objectifs actuels, l'auto-amélioration, l'acquisition insatiable de ressources.
Les objectifs ultimes (aussi appelés objectifs , ou encore ), sont intrinsèquement précieux pour un agent intelligent en tant que fin en soi, que l'agent soit une intelligence artificielle ou d'un être humain. En revanche, les objectifs instrumentaux n'ont de valeur pour un agent que comme un moyen d'atteindre ses objectifs ultimes. Ces notions peuvent être modélisés avec une « fonction d'utilité ». Plus une situation sera jugée bonne par l'agent, plus cette fonction d'utilité retournera un score élevé. La fonction d'utilité n'est souvent pas explicitement programmée, mais sert d'abstraction pour analyser le comportement d'un agent intelligent ayant des préférences cohérentes.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.