Le château de Saint Jacques (ou Saint Jacquemoz) comprenait une bassecour et le château proprement dit au sommet du roc. Des fouilles réalisées vers
1880 ont permis de retrouver quelques vestiges d’un donjon carré, de la chapelle et du logement du chapelain, de la citerne et d’un cimetière. La gravure réalisée, en 1600, par Claude Chastillon, laisse supposer d’autres bâtiments : aux 13ème et 14ème siècles, on les appelle « le palais archiépiscopal » puisque
ce château était l’une des résidences des archevêques – comtes de Tarentaise.
La défense était assurée par des courtines qui comprenaient des murs, d’une hauteur d’environ 6 mètres, et d’une largeur de 2,20 m à la base et de 0,90 au sommet. Des contreforts assuraient la solidité de l’ensemble. Côté Isère, le château était naturellement protégé par l’escarpement du rocher.
La château a été démantelé par les troupes françaises, commandées par Lesdiguières, en 1600.

Le saviez-vous ? La chapelle Saint Jacques a été construite à l’initiative du curé de Saint Marcel, Pierre Marie Chêne, qui, en 1895, voulait honorer
le premier évêque de Tarentaise au début du 5ème siècle et en faire un lieu de pèlerinage diocésain. On a retrouvé des boulets de canons qui sont les derniers témoins des vicissitudes de la vie du château Saint Jacques. Certains datent des combats de 1600 qui ruinèrent à jamais le château.