Construit en granite et en grès au XIVe siècle par les seigneurs du lieu, le donjon central de la Roche Gouyon deviendra Fort La Latte, avant que Louis XIV ne décide d’en améliorer le système défensif. Témoin de maintes péripéties tumultueuses de l’histoire, le fort, par son état de conservation extraordinaire, permet aux visiteurs de découvrir, les écuries et le jardin, la salle de garde, le logis ainsi que le donjon, qui « jamais ne fut pris ».