En mathématiques, les groupes de Mathieu sont cinq groupes simples finis découverts par le mathématicien français Émile Mathieu. Ils sont habituellement perçus comme des groupes de permutations sur n points (où n peut prendre les valeurs 11, 12, 22, 23 ou 24) et sont nommés M.
Les groupes de Mathieu ont été les premiers groupes sporadiques découverts.
Les groupes M et M sont 5-transitifs, les groupes M et M sont 4-transitifs et M est 3-transitif. Cette transitivité est même stricte pour M et M.
Il résulte de la classification des groupes simples finis que les seuls groupes de permutations 4-transitifs sont les groupes symétrique et alterné (de degré ≥ 4 et ≥ 6 respectivement) et les groupes de Mathieu M, M, M et M.
Il existe, à une équivalence près, un unique système de Steiner S(5,8,24). Le groupe M est le groupe d'automorphismes de ce système de Steiner, c’est-à-dire l'ensemble des permutations qui applique chaque bloc vers un certain autre bloc. Les sous-groupes M et M sont définis comme étant les stabilisateurs d'un seul point et de deux points respectivement.
De manière similaire, il existe, à une équivalence près, un unique système de Steiner S(5,6,12) et le groupe M est son groupe d'automorphismes. Le sous-groupe M est le stabilisateur d'un point.
Une construction alternative de S(5,6,12) est le « Chaton » de Curtis.
Le groupe M peut aussi être vu comme le groupe d'automorphismes du code de Golay binaire W, i.e., le groupe des permutations de coordonnées appliquant W vers lui-même. Nous pouvons aussi le regarder comme l'intersection de S et Stab(W) dans Aut(V). Les mots code correspondent de manière naturelle aux sous-ensembles d'un ensemble de 24 objets. Ces sous-ensembles correspondant aux mots code à 8 ou 12 coordonnées égales à 1 sont appelés octades ou dodécades respectivement. Les octades sont des blocs d'un système de Steiner S(5,8,24).
Les sous-groupes simples M, M, M et M peuvent être définis comme des sous-groupes de M, stabilisateurs respectivement de coordonnée unique, une paire ordonnée de coordonnées, une paire de dodécades complémentaires et une paire de dodécade avec une coordonnée seule.