A parca oferta de equipamentos para a prática desportiva em Castelo Branco esteve na origem da iniciativa do Albi Sport Clube de construir um conjunto de edifícios com essa finalidade. A associação foi criada em 1979 para promoção desportiva, cultural e recreativa, com especial empenho no apoio à juventude; na sua origem, pretendia desenvolver a prática de ténis e hóquei em patins, prevendo a integração de outras modalidades desportivas. O facto de os pavilhões desportivos existentes na cidade estarem integrados em equipamentos escolares, o que inviabilizava a sua utilização extra-curricular, e perante o elevado número de jovens e estudantes, justificaram a necessidade deste empreendimento e a sua importância para Castelo Branco e a sua área de influência. Estes equipamentos não se pretendiam para uso exclusivo do Albi Sport Clube, estando abertos a toda a comunidade.

Os terrenos para a construção do complexo desportivo foram cedidos pela Câmara Municipal de Castelo Branco, e o Diretor-Geral dos Desportos considerou esta obra como prioritária em 1979. Ao longo dos anos em que decorreu a construção, por fases, foram concedidas comparticipações financeiras estatais, quer através da Direção-Geral do Equipamento Regional e Urbano, quer através do Programa de Investimento e Despesas de Desenvolvimento da Administração Central (PIDDAC).

O conjunto foi projetado por Luís Marçal Grilo, arquiteto da empresa Planurbe e membro da direção do Albi Sport Clube, a partir de 1980. A primeira fase, executada entre 1981 e 1982, abarcou um pavilhão desportivo descoberto, seis campos de ténis, um bloco para sanitários, balneários e vestiários, e um edifício destinado à sede do clube. A segunda fase teve início em 1986, após os estudos de 1981 terem sido submetidos a revisões por indicação das entidades fiscalizadoras. Essa fase correspondeu ao pavilhão polidesportivo coberto, vindo a ficar paralisada em 1990 por falta de meios financeiros que levaram, inclusive, à rescisão de contrato com o empreiteiro; a cobertura foi terminada três anos depois. Previram-se outras fases, não concretizadas: em 1985, estudou-se a incorporação de um edifício para ginásio próximo do pavilhão polidesportivo; nessa atura, também se idealizou integrar instalações para piscina, parque infantil e minigolfe. Em 2004, foi inaugurado um novo campo de ténis coberto junto dos existentes.

Em 2024, os campos de ténis e o edifício da sede pertencem ao Albi Sport Clube, estando o pavilhão sob tutela municipal.