Construit au début du 17e siècle, l’hôtel du Gouverneur existe toujours. On peut le voir au second plan. Il se compose de deux pavillons juxtaposés couverts de toitures à quatre pans très pentus. La grande salle présente une belle cheminée et une tribune supportée par des colonnes torses en bois. Un plafond à caissons ornés de filets dorés décore une des chambres dans le bâtiment de gauche. La célèbre scientifique Emilie du Châtelet, qui était la belle-fille du Gouverneur de Semur, fit plusieurs séjours dans cet hôtel particulier où elle tint salon. C’est à Semur qu’elle accoucha en 1727 de son deuxième enfant, Louis Marie Florent du Châtelet qui porta à son tour le titre de Gouverneur de Semur et surtout exerça une brillante carrière d’ambassadeur à Vienne puis à Londres, avant d’être fait duc en 1770. Il sera guillotiné en 1793.