Il suo aspetto di villaggio fortificato dotato di torri di avvistamento, di un fossato e di mura di cinta, ne testimonia l’origine medioevale. Nel 1254 viene citato tra i possedimenti della nobile famiglia Normanni Alberteschi, poi passa nelle mani degli Anguillara, dei Massimo, e dei Peretti. All’inizio del XVII secolo il principe Michele Peretti, nipote di Sisto V, fa costruire una nuova, grande e sfarzosa residenza signorile. Nel giardino variopinti pavoni passeggiano tra alberi di cedro e reperti di scavo: il castello diventa luogo di sontuosi banchetti e battute di caccia. Ma l’altissimo tenore di vita intacca irrimediabilmente il patrimonio familiare e così, nel 1639, la tenuta e il castello vengono venduti ai principi Falconieri, tra le più ricche famiglie della Roma barocca. Essi chiamano a Torre in Pietra due ingegni del loro tempo: l’architetto Ferdinando Fuga che realizza la chiesa e il nuovo scalone di accesso al piano nobile, e il pittore Pier Leone Ghezzi cui viene affidata la decorazione degli interni.