En mathématiques, on appelle groupe modulaire le groupe PSL(2, Z), quotient du groupe spécial linéaire SL(2, Z) par son centre { Id, –Id }. Il s'identifie à l'image de SL(2, Z) dans le groupe de Lie On le note souvent Γ(1) ou simplement Γ.
Ce nom provient de l'action à gauche et fidèle de Γ(1) par homographies sur le demi-plan de Poincaré H des nombres complexes de partie imaginaire strictement positive.
Cette action n'est que la restriction de l'action de PGL(2, C) sur la droite projective complexe P(C) = C ∪ {∞} : la matrice agit sur P(C) par la transformation de Möbius qui en envoie z sur . En coordonnées homogènes, [z : t] est envoyé sur [az + bt : cz + dt].
Comme le groupe PGL(2, R) stabilise la droite projective réelle P(R) = R ∪ {∞} de P(C), ce groupe stabilise aussi le complémentaire. Comme PGL(2, R) est en outre connexe, il stabilise également chacune des deux composantes de P(C)\P(R), en particulier H. Il en est donc de même du sous-groupe modulaire Γ(1).
Le groupe PSU(1, 1) agit par homographies sur le disque de Poincaré, par isométries directes ; or le groupe PSU(1, 1) est isomorphe au groupe PSL(2, R), donc ce dernier agit sur le disque de Poincaré.
On rappelle que le groupe spécial unitaire SU(1, 1) est l'ensemble des éléments de SL(2, C) laissant invariante une forme hermitienne de signature (1,1) ; SU(1, 1) peut être vu comme l'ensemble des matrices où α et β sont des nombres complexes vérifiant la relation α – β = 1.
Le quotient du demi-plan de Poincaré par le groupe modulaire est la surface de Riemann Γ\H (« Gamma sous H »), souvent notée — ce qui selon les conventions peut être considéré un abus de notation — H/Γ (« H sur Gamma »).
Cette surface de Riemann est souvent dénommée courbe modulaire, car elle paramètre les classes d'isomorphisme de courbes elliptiques complexes. En fait cette courbe modulaire est la droite complexe C. À chaque courbe elliptique complexe E correspond un nombre complexe, son j-invariant, noté j(E) ou j. Ce nombre caractérise la courbe elliptique E à isomorphisme près.