La forteresse est cernée de larges douves alimentées en eau par le cours de la Sange, petit affluent de la Loire. Au nord se dresse un corps de logis appelé " donjon ". Il dessine un grand rectangle de 40 mètres de long pour plus de 15 mètres de large et est percé de nombreuses fenêtres à meneaux. Il est flanqué aux angles de quatre grosses tours circulaires très saillantes qui commandaient primitivement fortement la place. Seules les deux tours situées à l'est ont conservé leur aspect d'origine, avec un couronnement de mâchicoulis et des toits en poivrières. On pénètre dans ce bâtiment par un corps avancé coincé entre deux cylindres. Un pont-levis enjambait autrefois un petit fossé aujourd'hui comblé. Une cave voûtée occupait le niveau le plus bas. Au rez-de-chaussée se tenaient les pièces domestiques (cuisine, sommellerie…) et au premier étage l'espace seigneurial avec grande salle et appartements. Un escalier à vis placé dans la tourelle sud-est du châtelet d'entrée desservait les différents niveaux. Merveille absolue, une charpente en berceau brisé appelée " Grand Galetas " et vieille de six siècles, supporte toujours la couverture du dernier étage. Un chemin de ronde couvert sur mâchicoulis formant galerie courait sur tout le pourtour.

Devant ce logis s'ouvre une ample basse-cour quadrangulaire flanquée au sud de deux tours rondes. Celle qui trône à l'angle sud-est a conservé l'austère aspect du XVe siècle. Celle de l'angle sud-ouest (Tour de Béthune), aujourd'hui dérasée au niveau du rez-de-chaussée, fut en revanche construite au XVIIe siècle par le grand Sully. Son diamètre est de 15 mètres pour une épaisseur des murailles de 5 mètres. Elle était destinée à recevoir des pièces d'artillerie. A la fin du XVe siècle enfin, Marie de Sully entreprit la construction d'un logis plus confortable au sud-est désigné sous le nom de " Petit Château ". Il s'appuyait sur une tour-porte carrée à peu près contemporaine. Devant le château, entre la Loire et la Sange, Sully fit aménager de somptueux jardins aujourd'hui disparus.

Sans doute - injustement - moins réputé que les châteaux plus tardifs d'Amboise, Chambord, Azay-le-Rideau ou Chenonceau, Sully présente un intérêt considérable pour la compréhension de l'évolution architecturale au bas Moyen Age. Bien restauré et sérieusement entretenu, le site est d'une incomparable beauté et chaque pierre témoigne à sa manière de sa riche et glorieuse histoire.