Du château médiéval constitué de bâtiments autour d’une cour, avec un donjon et quatre tours, il ne reste que le rez-de-chaussée sur lequel le château a été reconstruit au XVIIe siècle, ainsi qu’une tour au sud. Deux ponts-levis permettaient alors de franchir les douves au nord et à l’est. Au XIIe siècle, le château est la résidence seigneuriale fortifiée de Gauthier de Villebéon, grand chambellan de deux rois de France, Louis VII et Philippe Auguste. C’est son fils, Gauthier, qui donne son nom à La Chapelle et qui fit construire l’église Saint-Martin dès 1170.