Avec ses hautes tours et ses courtines crénelées dominées par un chemin de ronde où les veilleurs font le guet, le donjon est d’abord destiné à protéger l’ancien château en bloquant l’accès au plateau surplombant l’Armançon. Au cours du 14e siècle son efficacité défensive est sans cesse améliorée. On effectue toute une série d’ouvrages en surplomb pour atteindre les assaillants potentiels, on scelle dans les murailles des fagots d’épine, on installe des échiffes (guérites en bois), des hourds (galeries de bois en encorbellement) et même des panneaux de bois amovibles entre les créneaux. Au 15e siècle on cherche à le protéger encore plus de manière à constituer une forteresse capable de résister à un siège prolongé. Non seulement on entretient avec soin les portes et le pont-levis mais on construit aussi des boulevards (terre-pleins en avant des remparts) et surtout on creuse un puits, toujours visible.
Dans les tours sont entreposés les grains du duc. A l’intérieur des murailles se trouvent différentes constructions : une chapelle, la maison du châtelain (responsable de la châtellenie) et celle du portier, des écuries et une grange pour le foin, un cellier, un four et un moulin. C’est là aussi que réside le représentant direct du duc, le bailli qui bénéficie d’un logement confortable dans la courtine est. La pièce où « il tient sa demeurance », chauffée par une grande cheminée, est éclairée par des verrières décorées aux armes ducales. Il dispose en outre d’une « boutellerie », d’une cuisine et d’une grande salle, pavées. Là aussi se trouve l’auditoire où est rendue la justice, éclairé, comme la grande salle du bailli, par des verrières décorées aux armes ducales. Ce sont encore ces armes qui ornent les bannières flottant au haut des tours.
Cf J. Benet : Semur-en-Auxois au XVème siècle, pp. 166-183