As primeiras fortalezas do castelo datam do século I a.C. tendo ele sido reconstruído diversas vezes por vários povos e recebido diferentes nomes. O nome actual deriva da devoção do castelo a São Jorge, santo padroeiro dos cavaleiros e das cruzadas, feita por ordem de D. João I no século XIV.