Construído por David I, filho de St. Margaret of Scotland, o castelo foi a base militar e residência real por séculos. Era usado para manter os prisioneiros militares de muitas guerras da Inglaterra. Tornou-se monumento após uma fuga em massa desses prisioneiros.