A partir de la forteresse médiévale de Philippe Auguste, dont on peut aujourd’hui découvrir une partie de l’enceinte, nombreux ont été les souverains qui ont apporté leur pierre à l’édifice commun : de Charles V à Napoléon III en passant par François Ier, Henri III, Louis XIV et Napoléon Ier, tous ont contribué, dans le style de leur époque, à cette œuvre plusieurs fois séculaire qui possède toutefois une surprenante harmonie.