La construction du Château a commencé pendant la guerre de 100 ans mais au début du 15ième siècle, sous sa forme fortifiée actuelle.
De cette époque, datent les deux tours rondes Est et Ouest, et la grosse tour carrée Sud, dont les mâchicoulis supportent le chemin de ronde. La porte centrale est construite 100 ans plus tard, au début de la Renaissance.
La richesse de ce patrimoine culturel a permis d’inscrire le Château de Carles à l’Inventaire Supplémentaire des Monuments Historiques.
