La partie la plus ancienne daterait du XIe ou XIIe siècle. C'était une citadelle qui pouvait abriter 5 000 hommes en armes. Les sires de Vallery sont des vassaux du comte de Champagne et vivent dans l'entourage de Louis IX dit saint Louis. Les remparts flanqués de tours à mâchicoulis sont encore visibles sur trois côtés, ainsi que l'imposant colombier.
En 1548 Jacques d'Albon, seigneur de Saint-André, maréchal de France acquiert le domaine et lance la construction d'un palais luxueux. Il s'entoure des meilleurs artistes et architectes de l'époque : Pierre Lescot, Le Primatice, les peintres Pierre Sturbe et Jean de Breuil qui travaillent alors au château de Fontainebleau.
Jacques d'Albon meurt d'une balle dans la tête en décembre 1562 à la bataille de Dreux. Sa veuve, Marguerite de Lustrac, se remarie avec un prince du sang, Louis de Bourbon, prince de Condé (chef des Huguenots). Ce dernier meurt en 1569 à Jarnac, lui aussi d'une balle dans la tête. Le château ne fut jamais achevé.
La propriété passe ensuite aux mains de Louis II de Condé, puis Louis de Bourbon Condé né en 1621 auquel succéda Henri-Jules de Bourbon et un petit-fils, Louis III, qui meurt en 1710.
Sa fille, ruinée, vend le domaine qui est racheté en 1747 par Combier de l'Aunay.
Sont classés (4 avril 1911) l'ouvrage d'entrée, le logis avec pavillon et galerie. Sont inscrits (28 mai 2001) le bâtiment adjacent au châtelet, les bâtiments agricoles, le colombier, la vacherie, l'ancienne grange dîmière, les murs de courtine, les tours d'angle, les fossés constituant l'enceinte fortifiée et le belvédère.
A proximité du château, des jardins Renaissance, acquis en 1992 par le SIVOM du Gâtinais, sont en passe d'être restaurés (classés le 12 juillet 1946).

(Le château se visite les dimanches et jours fériés du 1er avril au 1er novembre et tous les jours, du 15 juillet au 15 août et toute l'année sur rendez-vous - 01 44 07 37 70               http://www.chateaudesconde.com )

Elle fut construite par l'architecte Collin à partir de 1614 sous Henri II de Condé, en remplacement de l'église précédente, détruite sur ordre de son grand-père Louis Ier dit le Prince Huguenot. Elle fut restaurée en 1854 par Viollet-le-Duc. Le clocher actuel, édifié par Lefort date de 1864 (ISMH le 30 mars 1995).

A l'entrée de la chapelle sud dédiée à saint Louis se trouve le mausolée du Prince Henri II de Bourbon Condé. Il est l'oeuvre de Gilles Guérin (1651) à qui il a été commandé par Louis II d'Enghein, Prince de Condé, dit Le Grand Condé, en l'honneur de son père (classé MH en 1862).

Sur le soubassement de marbre blanc s'élèvent quatre cariatides, grandeur nature, représentant les quatre vertus cardinales : la Justice, la Force, la Tempérance et la Prudence. Sur le tympan, côté extérieur, une tête de mort avec des ailes de colombe symbolise la résurrection des justes. Côté intérieur une tête de mort avec des ailes de chauve-souris symboliserait l'idée de la résurrection des méchants. Sur le fronton, l'épitaphe du prince se situe sous le cénotaphe en marbre noir sur lequel le prince est à demi couché, le bras droit tenant le bâton, insigne du commandement.

Bibliographie complémentaire : plaquette éditée par Château des Condé.