A iniciativa de construção da Casa do Clero e dos Retiros partiu da Comissão de Sacerdotes da Diocese de Bragança, para a qual solicitaram apoio do Estado, no início de 1960. A obra, destinada a providenciar um local de repouso e assistência a sacerdotes cansados ou doentes e à realização retiros espirituais, obteve a recomendação do Bispo de Bragança e Miranda do Douro, que a considerou uma "obra de assistência tão necessária aos nossos sacerdotes cujas forças foram consumidas em benefício da sociedade" (1960.01.27).

No mesmo ano, em ofício do dia 7 de março, o engenheiro diretor da Direção de Urbanização de Bragança referiu que considerava "não haver qualquer dúvida quanto ao interesse público do empreendimento". No entanto, só três anos mais tarde, a 11 de dezembro de 1963, foi autorizada uma comparticipação de 360.000$, por despacho do Subsecretário de Estado das Obras Públicas. Entretanto, em 21 de julho de 1961, tinha sido iniciada a obra de construção, com projeto de arquitetura do engenheiro civil Manuel Maria Sampaio, em terreno oferecido por um benfeitor, junto ao Santuário do Divino Senhor de Cabeça Boa, nos arredores da cidade de Bragança.

Por dificuldades financeiras da Comissão de Construção da Casa do Clero e dos Retiros, agravada pelo gradual aumento dos preços ao longo dos anos, o processo de construção foi-se arrastando e, em 1967, após vários pedidos de reforço da comparticipação recursados, foi concedido um segundo subsídio de 40.000$ e, em 1969, um de 160.000$.

Em 1971, com as obras a decorrerem ainda lentamente, a Comissão de Construção da Casa do Clero e dos Retiros realizou um novo pedido de reforço da comparticipação, para construção de uma garagem no logradouro do edifício, no valor de 100.000$, concedido a 1 de abril de 1972. Em 1974, a obra recebeu ainda a comparticipação de 66.000$.

Em 1976, um documento da Direção dos Serviços de Melhoramentos Urbanos da Direção-Geral dos Serviços de Urbanização indicava como data de conclusão da 3ª fase da obra o dia 10 de dezembro de 1974.