As populações que habitavam o espaço português conheceram, desde tempos muito remotos, a necessidade de se munirem de estruturas defensivas. Está a vila de Castro Marim edificada sobre um monte do Castelo, umas das mais significativas invocações que a Idade Média introduziu na paisagem portuguesa, na margem direita do rio Guadiana. A primeira fortaleza de Castro Marim deveria ter consistido num castro familiar ou de povoamento do período neolítico, levantado na coroa desse monte. Devido à configuração topográfica e localização estratégica de Castro Marim, foi esta vila povoada por vários povos, entre eles, Fenícios, Cartagineses, Vândalos e Mouros, estes derrotados, aquando da conquista da vila por D. Paio Peres Correia em 1242.

Em 1277, D. Afonso III concedeu-lhe Carta de Foral com grandes privilégios para atrair população mais facilmente aquela zona, erguendo a cerca medieval, o-nde inicialmente, a vila se desenvolveu. A vila cresceu, inicialmente, dentro das muralhas do castelo velho, de planta quadrangular, definido por quatro torreões cilíndricos nos ângulos e um pátio interno, com duas portas de acesso, uma a sul e outra norte.

Mais tarde, no reinado de D. Dinis, compensando a perda de Ayamonte que passou para o domínio de Castela, mandou o rei reforçar a fortificação, ampliando-a com a construção da Muralha de Fora, para abrigo e defesa da população, atraindo-a com a confirmação e ampliação dos privilégios atribuidos pelo seu pai D. Afonso III, concedendo-lhe nova Carta de Foral em 1282.

Durante todo o processo de conquista do Algarve, não se pode descurar a importância do papel das Ordens Militares Religiosas.

Castro Marim pela sua localização geo-raiana conseguiu atrair com a ajuda do rei D. Dinis e pela bula papal instituída pelo papa João XXII, a Ordem de Santiago, que terá herdado os bens da Ordem dos Templários extinta em 1321, instalando a sua sede no Castelo de Castro Marim em 1319 até 1356, ano em que foi transferida, por ordem de D. Pedro I, para Tomar, devido à cessação das lutas contra os mouros e de um progressivo desprestígio da zona. A partir dessa altura, a importância deste Castelo foi diminuindo e a vila começou a despovoar-se, apesar dos privilégios atribuídos pelos monarcas.

Com a entrada do século XV, e com o incremento das campanhas ultramarinas, a Coroa Portuguesa encontrou no Algarve o melhor posicionamento geográfico e estratégico, pela proximidade ao Norte de África mantendo, assim, mais facilmente essas praças, controloando-as, para além de controlar possíveis ataques de corsários vindos do sul ou da vizinha Espanha. Castro Marim tornava-se assim, pela sua localização geográfica, numa das principais praças de guerra aquando do destacamento das nossas tropas além-mar, perdendo o seu apogeu relativamente a outras praças de guerra algarvias durante o século XVI.

Durante o reinado de D. Manuel I, com a nova Carta de Foral atribuída a esta vila em 1504, inicou-se relevante obras de restauro e defesa do Castelo, inicadas em 1509. Estas obras visaram um duplo objectivo de apoio às conquistas ultramarinas e de vigilância aos possíveis ataques corsários a que esta vila estava sujeita.

Dentro do recinto muralhado, situavam-se as ruínas da Igreja de Santiago, primitiva matriz da vila, construída no século XIV, a Igreja de Santa Maria e antiga Igreja da Misericórdia, junto à porta de Armas, que serviu a população até ao século XVI, altura em que a vila começou a crescer para fora do recinto muralhado, significando o aumento de terra firme.