A residência foi adquirida em 1792 por George III. A Rainha Charlotte, apaixonada por botânica, plantou mais de 4 mil árvores, dentre elas plantas raras e exóticas, para criar uma bela paisagem ao redor da residência. Os pais da Rainha Elizabeth II passaram parte da lua de mel em Frogmore House.