Oferecer a Arpad Szenes e Vieira da Silva, reconhecidos artistas em todo o mundo, um lugar condigno que se dedicasse ao estudo e divulgação da sua vasta e variada obra, foi uma ideia que surgiu em 1985. Pensado para o nº 3 do Alto de São Francisco, morada de Vieira nos tempos em que vivera em Lisboa com a mãe e local a que sempre regressou com Arpad, aquando das suas estadias em Portugal, o centro de estudos cedo se revelou inviável devido às pequenas dimensões do espaço. Mas o empenhamento do então Presidente Mário Soares permitiu concretizar esta ideia. E foi assim que Vieira da Silva escolheu ela mesma o local onde viria a ser instalado o Museu e Fundação que a homenagearia e ao qual doava algumas das suas obras e do marido – a Antiga Fábrica de Tecidos de Seda. Próximo da sua casa, permitindo estabelecer um elo de ligação (que não se veio a verificar) com o futuro Museu e inserido no romântico Jardim das Amoreiras, do qual resta o nome, visto que as 331 árvores que alimentavam o bicho da seda foram integralmente retiradas em 1863, o edifício revelou uma arquitectura simples e harmoniosa, despojada e linear que muito agradou à artista, contribuindo assim para a decisão final. Neste processo de criação e concretização do Museu Arpad Szenes-Vieira da Silva, que abriu ao público no dia 4 de Novembro de 1994, foi fundamental a participação e contributos da Câmara Municipal de Lisboa, que cedeu o edifício, levando a Fundação Cidade de Lisboa a procurar um novo local onde instalar um lar de idosos que para aqui previra, e a Fundação Calouste Gulbenkian, que custeou as obras de remodelação; a nível de investigação, foi fundamental a colaboração da Fundação Luso-Americana para o Desenvolvimento.