La forteresse dessine un étroit trapèze planté sur une éminence rocheuse, flanqué aux angles de tours cylindriques. La plus grosse tour, la seule qui soit intégralement conservée, trône dans l'angle nord et faisait office de donjon. Elle possède un diamètre de 12 m et à son sommet une jolie couronne de mâchicoulis moulés à motifs végétaux et trilobés. Les niveaux intérieurs sont voûtés en pierre. Des arrachements de courtines se lisent encore sur sa face est. C'est là, au-dessus de la porte, que se trouvait suspendue entre ciel et terre la merveilleuse chapelle construite par Jean de Berry. Il s'agit d'un agencement absolument unique dans toute l'architecture castrale médiévale.

La tour ouest est la seule des autres tours qui soit partiellement préservée. Elle est éventrée sur toute sa hauteur, mais donne encore une idée assez nette de sa splendeur passée. Les deux autres tours sont aujourd'hui dérasées. Leurs bases talutées pleines ont toutefois subsisté et témoignent nettement des origines philippiennes de la construction primitive.

Il subsiste quelques témoignages picturaux de ce que fut Mehun-sur-Yèvre au temps de sa grandeur. Le plus significatif est sans aucun doute la célèbre enluminure tirée du livre d'heures connu sous le nom de Très Riches Heures du duc de Berry, réalisée par les frères de Limbourg au début du XVe siècle. Ce chef-d'œuvre du XVe siècle est aujourd'hui conservé au musée Condé de Chantilly. Une scène représentant la Tentation du Christ reproduit sans doute assez fidèlement le château à l'apogée de sa gloire. Les tours, fines et élégantes, s'élancent vers le ciel avec leurs toitures en poivrière, leurs clochetons et leurs pinacles. La chapelle gothique finement ouvragée et les sommets des tours ressemblent à de l'authentique dentelle de pierre.

Il est également à noter que le château connut encore de légères modifications à la fin du XVe siècle afin de l'adapter sommairement aux armes à feu.

Il nous faut ici à nouveau noter le très beau travail de reconstitution informatique effectué par Cyrille Castellant.

Il ne faut pas oublier dans le bourg la présence d'une ancienne porte de ville, dite Porte de l'Horloge. Il s'agit d'un massif rectangulaire à deux tours cylindriques fortement proéminentes. Elle date très probablement du XIIIe siècle et est percée d'archères à étriers. Deux arcs surplombent la passage, l'un faisant office d'assommoir, l'autre de logement pour la herse.