Optimisation aléatoire

L'optimisation aléatoire (OA) est une famille de méthodes d'optimisation numérique qui ne nécessite pas de connaître le gradient du problème pour être utilisée, comme dans le cas de fonctions non continues ou non différentiables. Ces méthodes sont aussi connues sous le nom de recherche directe, méthodes sans dérivation ou méthodes boîte noire. Le nom d'optimisation aléatoire (random optimization) est attribué à Matyas, qui présenta une analyse mathématique de base des méthodes. L'optimisation aléatoire consiste en des déplacements itératifs vers de meilleures positions dans l'espace de recherche, positions déterminées selon une distribution normale autour de la position courante. Soit la fonction devant être minimisée. Soit la position courante dans l'espace de recherche. L'algorithme d'optimisation aléatoire de base peut être décrit comme suit : initialiser par une position au hasard dans l'espace ; tant que la condition d'arrêt n'est pas vérifiée (c'est-à-dire jusqu'à être suffisamment proche de la solution recherchée), répéter : créer une nouvelle position en ajoutant à un vecteur aléatoire distribué normalement, si , se déplacer vers la nouvelle position : , fin de l'algorithme, est la solution recherchée. Matyas a montré que la forme basique de l'OA converge vers l'optimum d'une fonction unimodale simple en utilisant une preuve par limite : la convergence vers l'optimum est garantie après un nombre virtuellement infini d'itérations. Cependant, cette preuve n'est pas utile en pratique, où seul un nombre fini d'itérations peut être exécuté. En fait, une telle preuve par limite montre aussi qu'un échantillonnage aléatoire de l'espace de recherche mène inévitablement à un choix d'échantillon arbitrairement proche de l'optimum. Des analyses mathématiques conduites par Baba ainsi que Solis et Wets ont établi que la convergence vers une région approchant l'optimum est inévitable sous certaines conditions faibles, pour des variantes de l'OA utilisant d'autres lois de probabilité pour l'échantillonnage.