thumb|Ermitage de Saint-Privat à Mende (France) installé dans une grotte.
Bien qu'aujourd'hui le sens du mot ermitage soit traditionnellement un endroit où un ermite vit dans l'isolement du monde, l'ermitage était (par le passé) couramment utilisé pour désigner un établissement où une personne (ou un groupe de personnes) vit religieusement, en isolement de la société.
Un ermitage est un type d'habitation domestique où vit un ermite. Bien que le niveau d'isolement puisse varier considérablement, le plus souvent, il est rattaché à un monastère voisin. En règle générale, les ermitages se composent d'au moins une pièce autonome, avec parfois un espace dédié (dans un bâtiment de plain pied) pour la dévotion religieuse, les fonctions de logement de base et une cuisine domestique adaptée au mode de vie ascétique de l'habitant. Selon le travail de l'ermite, des locaux tels qu'un studio, un atelier ou une chapelle peuvent être joints ou situés à proximité.
À l'origine, les premiers ermitages étaient situés dans des grottes naturelles, des ruines de temple et même de simples cabanes (dans la forêt ou le désert). Au début du , les retraites spirituelles des Pères du Désert, qui avaient choisi de vivre dans l'isolement relatif du désert de Nitrie en Égypte, ont commencé à attirer l'attention d'une communauté chrétienne plus large. La piété de ces ermites a souvent attiré à la fois les laïcs et d'autres ascètes, formant les premières communautés cénobitiques appelées , comme à Nitrie et . Très rapidement, un nombre important de personnes se sont joints à ces ermites pour suivre leurs enseignements et leur style de vie. Il s'est alors mis en place un partage du travail et un échange de biens créant ainsi les premières communautés monastiques.
Dans la période tardive du Moyen Âge, les monastères et les ermitages étaient financés par la royauté et la noblesse en échange de prières pour leur famille. Ceux-ci croyaient que cet échange profitait au salut de leur âme.