Non si conosce la data esatta dell’origine del Castello, ma è molto probabile che sia stato costruito tra il decimo e l’undicesimo secolo. I primi signori di Montegufoni furono gli Ormanni, una nobile famiglia che costruì la prima struttura del castello. Nel 1135 il castello fu raso al suolo a seguito di una disputa con il governo Fiorentino. Le rovine della torre del castello degli Ormanni sono ancora visibili nella sezione nord dei giardini odierni. Dopo un periodo di disuso della proprietà, il castello fu finalmente occupato dagli Acciaioli, una illustre famiglia il cui nome si deve alla loro principale attività, gli “Acciaioli” (lavoratori di acciaio). Probabilmente la ricostruzione di Montegufoni avvenne principalmente tra il 1280 e il 1300, momento in cui la famiglia era particolarmente ricca. Nel tredicesimo secolo membri della famiglia Acciaioli si erano messi in viaggio alla conquista di Malta, Corinto e Atene. Essi regnarono, in modo spietato, in queste due città per oltre 100 anni, e difatti iniziarono ad essere conosciuti come i Duchi d’Atene. Per questa ragione, uno dei cortili del Castello di Montegufoni è ancora oggi chiamato Corte dei Duchi.