Nicolas Baudot était un notable important : le ressort de sa maréchaussée s’étendait au-delà de l’Auxois sur une partie du Châtillonnais. Désireux de faire construire une demeure digne de son rang, il avait obtenu de la municipalité de Semur la permission de l’édifier sur les courtines arasées de l’ancien donjon, site qu’il avait choisi dans l’espoir d’adjoindre la tour de l’Orle d’or à sa maison. Malheureusement pour lui, il s’avéra que non seulement cette tour mais l’ensemble de l’ancien donjon appartenait au roi et non à la ville. Il dut alors payer un cens annuel et perpétuel de 30 sols au domaine royal.
Il s’adressa pour son projet à son beau-frère, l’architecte Edme Verniquet (1727-1804). Celui-ci natif de Châtillon-sur-Seine, est l’auteur de plusieurs demeures et châteaux à Paris et en Bourgogne. Il est connu aussi pour avoir levé le premier plan exact de Paris en tant que commissaire général de la voirie de Paris. A Dijon, il avait rencontré Buffon qui lui offrit la possibilité de travailler à l’aménagement du Jardin royal des plantes médicinales (l’actuel Jardin des plantes, siège du Muséum national d’histoire naturelle). C’est lui qui agrandit le bâtiment abritant le cabinet du Roi, aménagea le labyrinthe avec son belvédère et commença la construction de l’amphithéâtre d’anatomie. A Semur pour son beau-frère l’architecte eut à intégrer la construction nouvelle à des bâtiments existants : à droite il ajouta un étage à une aile basse de la fin du 16ème ou début du 17ème siècle par-dessus l’ancienne charpente en carène de vaisseau renversé (qui existe toujours). Il dut modifier la charpente de la maison de gauche pour la rattacher au pavillon central. L’arrière du bâtiment côté rempart est traité sobrement, donnant l’impression de la réutilisation d’une tour carrée. La façade principale est d’une élégance toute néo-classique.