O Castelo de Penha Garcia, admite-se ter sido edificado pelos Templários, sobre uma fortificação romana que fora antecedida por um castro pré-histórico. Todavia há opiniões no sentido de que a sua edificação se terá iniciado com D. Sancho I, vindo a ser doado por D. Afonso II, à Ordem de Santiago.