Il castello è di origine longobarda e divenne rilevante nel XII secolo quando la famiglia dei Ricasoli da Cacchiano vi si insediò e ancora oggi la fortezza è di loro proprietà.
La sua posizione era fondamentale per il controllo del Chianti e data la sua posizione ai margini dell'influenza fiorentina e il territorio senese, il castello è stato dal XIV al XVI secolo al centro di molte guerre di frontiera. Nonostante questo, fu quasi sempre in mano a Firenze e, dopo una breve parentesi dove fu sotto Siena, nel 1484 venne profondamente ristrutturato e potenziata la roccaforte, rendendo Brolio una delle prime fortezze bastionate italiane.
Pare che l'architetto della fortezza sia stato Giuliano da Sangallo che poi ha sviluppato la sua arte fortificatoria servendo la famiglia Medici. I bastioni in pietra, oggi ancora in perfertto stato, formano una pianta a pentangono irregolare e la cinta di mura racchiude i resti originari del castello.
Nonostante sia privato, il castello è visitabile ed è possibile fare il giro degli spalti, dai quali si può avere una splendida vista sul Chianti.