Théorème d'approximation universelle

Dans la théorie mathématique des réseaux de neurones artificiels, le théorème d'approximation universelle indique qu'un réseau à propagation avant d'une seule couche cachée contenant un nombre fini de neurones (c'est-à-dire, un perceptron multicouche) peut approximer des fonctions continues sur des sous-ensembles compacts de Rn. Une des premières versions du cas avec largeur arbitraire a été prouvé par George Cybenko en 1989 pour des fonctions d'activation sigmoïdes. Kurt Hornik a montré en 1991 que ce n'est pas le choix spécifique de la fonction d'activation, mais plutôt l'architecture multi-couches à propagation avant elle-même qui donne aux réseaux de neurones le potentiel d'être des approximateurs universels. Moshe Leshno et al en 1993 et plus tard Allan Pinkus en 1999 ont montré que la propriété d'approximation universelle est équivalente à l'utilisation d'une fonction d'activation non-polynomiale. Le cas avec profondeur arbitraire a aussi été étudié par nombre d'auteurs, comme Zhou Lu et al en 2017, Boris Hanin et Mark Sellke en 2018, et Patrick Kidger et Terry Lyons en 2020. Le résultat sur la largeur minimal par couche a été raffiné en 2020 pour les réseaux résiduels. Plusieurs extensions du théorème existent, comme celle à des fonctions d'activation discontinues, à des domaines non compacts, à des réseaux certifiables, et à des architectures de réseaux et des topologies alternatives. La forme classique du théorème d'approximation universelle pour une largeur arbitraire et une profondeur bornée est la suivante. Elle étend les résultats classiques de George Cybenko and Kurt Hornik. Théorème d'approximation universelle: Soit l'ensemble des fonctions continues de vers . Soit . Notons que , c'est à dire que représente l'application de à chacune des composantes de . Alors n'est pas polynomiale si et seulement si pour tout , , pour tout sous-espace compact , pour tout et pour tout , il existe , , et , tels que: où Une telle fonction peut également être approximée par un réseau de plus grande profondeur en utilisant la même construction pour les deux premières couches et et en utilisant la fonction identité pour les couches ultérieures.