La Roche Goyon își ia numele de la una dintre cele mai vechi familii bretone (numite Gwion, Goion, Gouëon, Goyon și Gouyon).

O legendă mărturisește că un prim castel a fost construit de un Goyon sub Alain Barbe-Torte în 937.

Castelul actual, ca și el, a fost început înainte de apariția canonului în Bretania (1364), apoi a continuat la opțiunea norocului Goyon în a doua jumătate a secolului XIV. A existat în 1379 de când Du Guesclin a trimis un detașament la La Roche Goyon, care a rezistat curajos. Cetatea a fost confiscată în folosul lui Carol al V-lea, apoi a revenit proprietarului său prin Tratatul de la Guérande (1381).

În secolul al XV-lea, ascensiunea socială a Goyon-ului a continuat. Ele apar în statele Bretaniei. Un Goyon, camarelan al ducelui de Bretania, se va căsători cu moștenitoarea baroniei Thorigni-sur-Vire. Familia Goyon părăsește leagănul breton și merge la istoria Franței. Castelul primește apoi un guvernator care se cazează într-o casă amenajată în acest scop. La momentul întâlnirii Bretaniei cu Franța (realizată în timpul tratatului din 1532), aceasta suferă un nou loc (1490), engleză de această dată, fără succes pentru invadatori.

Lovitura de grație a fost purtată de Ligă. Jaques II Goyon, domnul Matignon, mareșalul Franței, guvernator al Normandiei și al Guyennei, se alăturase lui Henri IV. Ca răzbunare, în 1597, un delegat al ducelui de Mercoeur pe nume Saint-Laurent, l-a asediat și l-a atacat. Castelul numit deja la acea vreme La Latte, a fost demontat, jefuit, devastat, ars. Doar temnița a rezistat.

Sir Garengeau a fost interesat de fortificarea coastei pentru apărarea Saint-Malo. Castelul a fost transformat în consecință, cu acordul lui Matignon între 1690 și 1715. Acesta datorează o mare parte din aspectul pe care îl cunoaștem.

În 1715, James Ill Stuart a venit și s-a refugiat acolo și a găsit locul sinistru ... Este adevărat că a eșuat o seară urâtă din noiembrie. În același an, Louise-Hippolyte GrimaIdi (Prințesa de Monaco) s-a căsătorit cu Jacques-François-Léonor Gouyon, domnul lui Matignon, devenit Duce de Valentinois, cu condiția să ia numele și armele Grimaldi fără a se alătura familiei sale.

În 1793, cuptorul a fost construit pentru a înroși bilele și câțiva suspecți contrarevoluționari au fost închiși.

Tinerii MaIouins au luat-o cu asalt, fără succes, în timpul celor O sută de zile (1815). Acesta a fost ultimul său episod războinic.

În secolul al XIX-lea, a fost abandonat treptat, nu avea decât un singur tutore. Dezafectat de Ministerul Războiului în 1890, a fost vândut de Domenii în 1892. Era în mare parte în ruine când a fost clasificat monument istoric în 1925. A fost restaurat din 1931 de către familia Joüon din Longrais și este deschis vizitei . A devenit cel mai vizitat castel din Bretania, după cel al ducilor din Nantes.