En 1364, Pierre de
Villiers achète la seigneurie de L'Isle-Adam à sa cousine Guillemette
de
Luzarches. Il fera construire avec son épouse Jeanne de Beauvais, dans
l'enceinte de son château, une chapelle dédicacée aux apôtres Pierre
et Paul.
Cette famille de seigneurs va donner de grands serviteurs du royaume.
Pendant
la guerre de Cent Ans, Anglais et Bourguignons vont tour à tour écumer
la
région. Mais Jean de Villiers de L'Isle-Adam, maréchal de France, va
successivement servir le duc de Bourgogne, puis le roi d'Angleterre et
enfin
le roi de France. Ces voltes faces diplomatiques lui permettront de
mettre à l'abri des
attaques son château de L'Isle-Adam. En 1527, Charles de Villiers, le
dernier
descendant de cette illustre famille, cède sa seigneurie à son cousin
le connétable
Anne de Montmorency. Celui-ci, fera démolir le vieux château fort (à
l'exception de la grosse tour), devenu inconfortable, pour construire à
la
place un château d'agrément dans le style Renaissance. Cette tour fera
encore
parler d'elle pendant les "guerres de Religion". En effet, en 1589,
alors que
Henri 1er de Montmorency se trouvait dans la province du
Languedoc
dont il était gouverneur, les Ligueurs s'emparent du château de
L'Isle-Adam.
Il faudra qu'Henri IV en personne viennent les déloger.
Enfin en 1709, François
Louis de Bourbon-Conti fera détruire le dernier vestige du château
fort (la
grosse tour) pour construire à la place la bâtiment de la
conciergerie. Ce
château aura donc vécu pendant près de 7 siècles.