Il castello di Gargonza sorge sul colle di Monte San Savino, dominando la Val di Chiana, a metà tra Arezzo e Siena. Il castello è testimonianza del borgo agricolo fortificato, uno dei meglio conservati nel territorio aretino, con quello che resta delle mura, la porta duecentesca, la chiesa romanica del XIII secolo e le case che si affacciano sui vicoli stretti.
Nel Medioevo era già oggetto di dispute fra guelfi e ghibellini per averne il controllo per via della sua posizione strategica tra la Val di Chiana e il senese. In questa fase della sua storia, Dante Alghieri nel 1304, come guelfo bianco, partecipò alla riunione fra i ghibellini, usciti da Firenze, e gli aretini.
Il castello passò più volte di mano tra il dominio di Firenze e la Repubblica Senese, come quando nel 1381 Gorgonza venne venduta alla Repubblica ma poi fu comunque occupata dai fiorentini, scatenando, tempo dopo, una rivolta. L'armata della signoria fiorentina per fermarla rase al suolo il borgo lasciando in piedi solo il cassero, la torre merlata visibile ancora oggi.
Dopo gli ultimi conflitti e il termine della mezzadira, Gorgonza rimase disabitata e in rovina, fino a quando negli anni Settanta il conte Roberto Guicciardini Corsi Salviati fece un lavoro di restauro per mantenere gli elementi architettonici del borgo medielvale. Oggi il borgo è un importante centro agrituristico e parte dell'Associazione Abitare la Storia, che si occupa di riunire abitazioni all'interno di edifici storici di pregio.