En mathématiques et en automatique, la notion de stabilité de Liapounov (ou, plus correctement, de stabilité au sens de Liapounov) apparaît dans l'étude des systèmes dynamiques. De manière générale, la notion de stabilité joue également un rôle en mécanique, dans les modèles économiques, les algorithmes numériques, la mécanique quantique, la physique nucléaire Un exemple typique de système stable au sens de Liapounov est celui constitué d'une bille roulant sans frottement au fond d'une coupelle ayant la forme d'une demi-sphère creuse : après avoir été écartée de sa position d'équilibre (qui est le fond de la coupelle), la bille oscille autour de cette position, sans s'éloigner davantage : la composante tangentielle de la force de gravité ramène constamment la bille vers sa position d'équilibre.
En mathématiques, en chimie ou en physique, un système dynamique est la donnée d’un système et d’une loi décrivant l'évolution de ce système. Ce peut être l'évolution d'une réaction chimique au cours du temps, le mouvement des planètes dans le système solaire (régi par la loi universelle de la gravitation de Newton) ou encore l'évolution de la mémoire d'un ordinateur sous l'action d'un programme informatique. Formellement on distingue les systèmes dynamiques à temps discrets (comme un programme informatique) des systèmes dynamiques à temps continu (comme une réaction chimique).
Dans l'analyse d'un système dynamique, l'exposant de Liapounov permet de quantifier la stabilité ou l'instabilité de ses mouvements. Un exposant de Liapounov peut être soit un nombre réel fini, soit ∞ ou –∞. Un mouvement instable a un exposant de Liapounov positif, un mouvement stable correspond à un exposant de Liapounov négatif. Les mouvements bornés d'un système linéaire ont un exposant de Liapounov négatif ou nul. L'exposant de Liapounov peut servir à étudier la stabilité (ou l'instabilité) des points d'équilibre des systèmes non linéaires.
En mathématiques, la théorie de la stabilité traite la stabilité des solutions d'équations différentielles et des trajectoires des systèmes dynamiques sous des petites perturbations des conditions initiales. L'équation de la chaleur, par exemple, est une équation aux dérivées partielles stable parce que des petites perturbations des conditions initiales conduisent à des faibles variations de la température à un temps ultérieur en raison du principe du maximum.
La théorie des systèmes dynamiques désigne couramment la branche des mathématiques qui s'efforce d'étudier les propriétés d'un système dynamique. Cette recherche active se développe à la frontière de la topologie, de l'analyse, de la géométrie, de la théorie de la mesure et des probabilités. La nature de cette étude est conditionnée par le système dynamique étudié et elle dépend des outils utilisés (analytiques, géométriques ou probabilistes).