La toute première chapelle de Coulaures fut bâtie au XIIIe siècle après que le seigneur de Chardeuil se fut trouvé sur le point de faire naufrage dans le golfe de Gascogne. Il y fit alors le vœu de, s’il en sortait sain et sauf, construire une chapelle en l’honneur de la Vierge. Revenu en vie, il construisit alors une chapelle sur l’arche du pont qui franchissait l’Isle.

Au XVe siècle, de violentes crues emportent la chapelle. Il était alors hors de question de la reconstruire. Cependant, après 8 ans de ravage dû à la grêle et aux inondations sur les paroisses avoisinantes, il fut décidé de rebâtir la chapelle, cette fois-ci au bord de la Loue, à son emplacement actuel.

Au XVIIe siècle, il est décidé d’agrandir la chapelle. Ainsi, la façade était ainsi occupée par deux arcades, dont nous pouvons encore voir les vestiges aujourd’hui. Arcades, qui restaient ouvertes, seulement fermées par des grilles, ce qui permettait aux pèlerins d’assister aux célébrations de la place.

La chapelle est rénovée en 1861.

En 2010, la mairie de Coulaures prend contact avec le lycée professionnel des métiers du bâtiment de Chardeuil afin de fabriquer une nouvelle porte.