Este conjunto arquitectónico relembra a origem medieval da cidade, quando em 1135 foi conquistada por D. Afonso Henriques. Na altura, o primeiro rei de Portugal mandou construir uma pequena capela dedicada a Nossa Senhora da Penha e entregou este reduto militar a D. Paio Guterres, o primeiro Alcaide