Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur Graph Search.
Concept
Théorème d'approximation universelle
Résumé
Dans la théorie mathématique des réseaux de neurones artificiels, le théorème d'approximation universelle indique qu'un réseau à propagation avant d'une seule couche cachée contenant un nombre fini de neurones (c'est-à-dire, un perceptron multicouche) peut approximer des fonctions continues sur des sous-ensembles compacts de Rn.
Une des premières versions du cas avec largeur arbitraire a été prouvé par George Cybenko en 1989 pour des fonctions d'activation sigmoïdes. Kurt Hornik a montré en 1991 que ce n'est pas le choix spécifique de la fonction d'activation, mais plutôt l'architecture multi-couches à propagation avant elle-même qui donne aux réseaux de neurones le potentiel d'être des approximateurs universels. Moshe Leshno et al en 1993 et plus tard Allan Pinkus en 1999 ont montré que la propriété d'approximation universelle est équivalente à l'utilisation d'une fonction d'activation non-polynomiale.
Le cas avec profondeur arbitraire a aussi été étudié par nombre d'auteurs, comme Zhou Lu et al en 2017, Boris Hanin et Mark Sellke en 2018, et Patrick Kidger et Terry Lyons en 2020. Le résultat sur la largeur minimal par couche a été raffiné en 2020 pour les réseaux résiduels.
Plusieurs extensions du théorème existent, comme celle à des fonctions d'activation discontinues, à des domaines non compacts, à des réseaux certifiables, et à des architectures de réseaux et des topologies alternatives.
La forme classique du théorème d'approximation universelle pour une largeur arbitraire et une profondeur bornée est la suivante. Elle étend les résultats classiques de George Cybenko and Kurt Hornik.
Théorème d'approximation universelle: Soit l'ensemble des fonctions continues de vers . Soit . Notons que , c'est à dire que représente l'application de à chacune des composantes de .
Alors n'est pas polynomiale si et seulement si
pour tout , , pour tout sous-espace compact , pour tout et pour tout ,
il existe , , et , tels que:
où
Une telle fonction peut également être approximée par un réseau de plus grande profondeur en utilisant la même construction pour les deux premières couches et et en utilisant la fonction identité pour les couches ultérieures.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.