O mosteiro de S. José fica situado na antiga rua da Infesta, hoje largo dedicado ao arqueólogo vimaranense Martins Sarmento.

O negociante Francisco Antunes quis fundar um convento em honra de Santa Teresa, para religiosas, e começou a construção lançando a primeira pedra em 26 de Março de 1685, sendo dita a primeira missa ainda antes de acabarem as obras, em 1687, ano em que algumas senhoras tomaram o hábito carmelitano, com o título de recolhidas dos carmelitas.

Por volta de 1704, estando o edifício concluído, receberam a bula do papa autorizando as religiosas a tomarem o véu das carmelitas calçadas, trocando a primitiva evocação de Santa Teresa pela de S. José. No entanto, como na igreja deste convento o lugar central do altar era ocupado pela imagem de Nossa Senhora do Carmo, ficou este a ser o seu nome mais conhecido.

Esta comunidade de carmelitas viveu até 1743, debaixo da obediência do provincial dos carmelitas calçados; sustentando repetidas e complicadas demandas por falta de jurisdição consistente e aceite de quem haveria de depender este convento. Sabe-se que no governo do arcebispo de Braga, D. Rodrigo de Moura Teles, em 1726, foi instaurado às freiras um interdito, por haverem tomado, de uma forma livre e contra seu desejo, véu preto. Contudo em 1748 esta comunidade aceitou a plena jurisdição do Ordinário no episcopado de D. José de Bragança. A este devem a construção da sua capela-mor, a edificação do mirante, a extensão da cerca e o alargamento do terreiro fronteiro à igreja.

A última freira, D. Catarina Angélica do Amor Divino, faleceu em 1854, vinte anos depois da extinção das Ordens religiosas em Portugal, ficando o edifício propriedade nacional. Mais tarde, devido aos esforços do relançamento da fé, clérigos e leigos constituem-se em associação, lavram os seus estatutos e “chamam a si a fábrica da Igreja” e reconstituem a Ordem do Carmo. A 27 de Julho de 1866, por Breve Apostólico a irmandade do Carmo foi elevada à categoria de Ordem Terceira do Carmo, confirmado, pelo geral da Ordem Carmelitana em Roma a 30 de Julho de 1868.

O convento foi concedido ao Ministério de Guerra instalando-se nele o Batalhão de Caçadores 7, que foi mais tarde para Valença. Sabe-se também que funcionou nas suas dependências o Hospital Militar.

Finalmente, as instalações foram cedidas, por decreto de 30 de Maio de 1860, para o Asilo de infância desvalida de Santa Estefânia-Amor de Deus e do Próximo, que ainda lá se mantém, e cuja comissão tomou posse em 27 de Agosto de 1862. Fonte: <a href="http://www.csarmento.uminho.pt/" rel="nofollow">www.csarmento.uminho.pt/</a>