Demeure fortifiée à l’origine comme en témoignent les quatre tourelles
d’angle percées de canonnières, proche de la « grange aux dîmes, elle fut
résidence administrative des représentants du roi de France, gérant le domaine,
en son nom et en celui de l’Abbé de Molesme, tous deux seigneurs sur la terre de
Rumilly.Parmi ces délégués du pouvoir, fut le sénéchal de Champagne Louis II d’Orléans (1384), le futur Louis XII ; ses armes mutilées ornent la porte nord du manoir et le cheminée est du rez-de-chaussée. C’est Pierre Pion, riche boucher troyen qui, vers 1530, a donné sa touche personnelle au bâtiment, avant qu’après sa mort, François II de Vienne, abbé de Molesme, en fasse décorer les manteaux des quatre cheminées.
Déclaré bien national à la Révolution, il échoit aux Labille de la Rocatelle (un domaine sur le territoire de Rumilly). La commune l’acquiert en 1912 pour y installer la mairie et l’école des garçons. En 1947, les deux classes qui y avaient trouvé asile le quittent pour intégrer un groupe scolaire tout neuf. Le manoir des Tourelles reste aujourd’hui mairie officielle de Rumilly et le rez-de-chaussée a été aménagé en salle de réception.
Une galerie court au premier étage de sa façade sud, ornée de culs-de-lampe moyenâgeux, soutenue par six colonnes torses aux chapiteaux armoriés. La porte d’entrée est surmontée des armes royales entourées du cordon de l’ordre de Saint-Michel. Du côté nord, la porte de la tourelle centrale hexagonale, ouvre sur un escalier à vis aux marches d’une largeur exceptionnelle, orné à chaque angle d’un animal ou personnage de légende. Au rez-de-chaussée, sur une poutre du beau plafond Renaissance (tant plein que vide), Pierre Pion a fait sculpter ses armes avec celles de sa femme et des membres de sa famille. Au premier étage, la cheminée ouest, offre les armoiries d’Antoine II de Vienne abbé de Molesme. Une des quatre tourelles abrite un oratoire à la voûte élégante, simple et discret. A l’entrée du grenier - dont la charpente est en forme de carène de vaisseau renversé, - la colonne au chapiteau sculpté qui termine la vis de l’escalier voisine avec une galerie de pierre ajourée.
Le souvenir des Compagnons qui ont contribué à la construction et à la rénovation du manoir plane de manière évidente et constante à l’extérieur et à l’intérieur de l’édifice : trois caveaux en sous-sol, en hommage aux trois fondateurs du compagnonnage, colonne aux spires inversées, images du chien et du loup, du renard tenant en sa gueule une poule, erreur dans la composition d’un plaque de cheminée. Tout est à voir dans ce manoir, le seul édifice rural du département classé XVIe siècle, et conservé dans son intégrité.