La Roche Goyon mengambil namanya daripada salah satu keluarga Breton tertua (dipanggil Gwion, Goion, Gouëon, Goyon dan Gouyon).

Legenda membuktikan bahawa istana pertama dibina oleh Goyon di bawah Alain Barbe-Torte pada tahun 937.

Istana semasa, baginya, telah dimulakan sebelum kemunculan kanun di Brittany (1364) kemudian diteruskan dengan pilihan nasib baik Goyon pada separuh kedua abad XIV. Ia wujud pada 1379 sejak Du Guesclin menghantar detasmen ke La Roche Goyon yang menentang dengan berani. Kubu itu dirampas untuk kepentingan Charles V, kemudian dikembalikan kepada pemiliknya melalui Perjanjian Guérande (1381).

Semasa abad kelima belas, kebangkitan sosial Goyon berterusan. Mereka muncul di Negeri Brittany. Seorang Goyon, ketua dewan duke Brittany, akan berkahwin dengan pewaris baroni Thorigni-sur-Vire. Keluarga Goyon meninggalkan buaian Breton dan pergi ke sejarah Perancis. Istana itu kemudiannya menerima seorang gabenor yang bermalam di sebuah rumah yang diatur untuk tujuan ini. Pada masa pertemuan Brittany dengan Perancis (direalisasikan semasa perjanjian 1532), ia menjalani kerusi baru (1490), Inggeris kali ini, tanpa kejayaan bagi penceroboh.

Rampasan kuasa dilakukan oleh Liga. Jaques II Goyon, Tuan Matignon, Marshal Perancis, Gabenor Normandy dan Guyenne, telah memihak kepada Henri IV. Sebagai balasan, pada tahun 1597, seorang perwakilan Duke of Mercoeur bernama Saint-Laurent, mengepung dan menyerangnya. Istana yang sudah dipanggil La Latte pada masa itu, telah dibongkar, dirompak, dimusnahkan, dibakar. Hanya penjara bawah tanah yang menentang.

Di sebuah istana yang runtuh Sir Garengeau berminat untuk mengukuhkan pantai untuk mempertahankan Saint-Malo. Istana itu telah diubah dengan sewajarnya dengan persetujuan Matignon antara 1690 dan 1715. Ia berhutang banyak aspek yang kita kenali dia.

Pada tahun 1715, James Ill Stuart datang dan berlindung di sana dan mendapati tempat itu jahat ... Memang benar bahawa malam November yang buruk telah gagal. Pada tahun yang sama Louise-Hippolyte Grimaldi (Puteri Monaco) berkahwin dengan Jacques-François-Léonor Gouyon, tuan Matignon, menjadi Duke of Valentinois, dengan syarat mengambil nama dan senjata Grimaldi tanpa menyertai keluarganya.

Pada tahun 1793, relau itu dibina untuk memerah bola dan beberapa suspek kontrarevolusi telah dipenjarakan.

Malouins muda mengambilnya dengan ribut, tanpa kejayaan, semasa Seratus Hari (1815). Ini adalah episod pahlawan terakhirnya.

Semasa abad kesembilan belas, dia secara beransur-ansur ditinggalkan, dia hanya mempunyai seorang penjaga. Dinyahaktifkan oleh Kementerian Perang pada tahun 1890, ia telah dijual oleh Domains pada tahun 1892. Ia sebahagian besarnya dalam runtuhan apabila ia diklasifikasikan sebagai Monumen Bersejarah pada tahun 1925. Ia telah dipulihkan sejak 1931 oleh keluarga Joüon Longrais dan terbuka untuk lawatan . Ia menjadi istana yang paling banyak dikunjungi di Brittany, selepas duke di Nantes.