Il y eut plusieurs châteaux à Saint-Hilaire, celui des Prés au hameau Les Andrésis, celui de Montalan dont on ne sait pas grand chose et celui du Ratelet, ancien prieuré dépendant de l'abbaye de Ferrières-en-Gâtinais. Les bâtiments actuels datent du milieu du XVIIe siècle. Comme à Ferrières, les moines y pratiquaient la pisciculture.

C'est au XIe siècle que des Bénédictins de Saint-Pierre-le-Vif de Sens fondent un monastère à Saint-Hilaire. Destructions et reconstructions se suivent au cours des siècles.
Le long clocher couvert d'ardoise penche légèrement. Il a remplacé en 1928 un clocher plus élancé qui menaçait de tomber. Un portail de style roman s'ouvre dans la façade ouest, "peinte" et décorée de suspensions "village fleuri".
Sur le parvis récemment dallé trône une fontaine quelque peu anachronique.
La nef actuelle daterait de la fin du XVIe siècle avec au nord un étroit collatéral, apparemment plus ancien. La cloche, qui a échappé à la fonte révolutionnaire, est de 1647.
L'objet principal est l'imposant retable du XVIIIe siècle en bois taillé dont la provenance n'est pas connue. Il est classé (13 juin 1969) ainsi que l'autel, le tabernacle et les lambris.
Le tableau central représente le Christ remettant les clefs à saint Pierre.
La clef de voûte du choeur est ornée d'armoiries ornées de trois fleurs de lis.

Dans la chapelle nord du transept, une statue en bois polychrome de saint Eloi. Aux quatre angles de cette chapelle, les arêtes de la voute s'appuient sur des culs de lampe figurant quelques personnages bibliques.
Dans la chapelle sud, un monument aux morts de la guerre 1914-1918, avec un poilu étonnamment décontracté !