La Roche Goyon dregur nafn sitt af einni af elstu bretónsku fjölskyldunum (kallast Gwion, Goion, Gouëon, Goyon og Gouyon).

Þjóðsaga ber vitni um að fyrsti kastalinn hafi verið byggður af Goyon undir stjórn Alain Barbe-Torte árið 937.

Núverandi kastali, eins og fyrir hann, var byrjaður áður en kanónan birtist í Bretagne (1364) og hélt síðan áfram að vali gæfu Goyon á seinni hluta XIV. Það var til árið 1379 síðan Du Guesclin sendi herdeild til La Roche Goyon sem barðist hetjulega. Virkið var gert upptækt í þágu Karls V, síðan skilað til eiganda þess með Guérande-sáttmálanum (1381).

Á fimmtándu öld hélt félagsleg uppgangur Goyon áfram. Þeir birtast í Bretagneríkjunum. Goyon, kammerherra hertogans af Bretagne, mun giftast erfingja barónísins Thorigni-sur-Vire. Goyon fjölskyldan yfirgefur bretónsku vögguna og fer í sögu Frakklands. Kastalinn tekur þá á móti landstjóra sem gistir í húsi sem er útbúið í þessu skyni. Við fund Bretagne með Frakklandi (sem varð að veruleika í sáttmálanum 1532) fær það nýtt sæti (1490), ensku að þessu sinni, án árangurs fyrir innrásarherinn.

Náðarvaldið var borið af deildinni. Jaques II Goyon, lávarður Matignon, marskálkur Frakklands, landstjóri Normandí og Guyenne, hafði staðið með Henri IV. Í hefndarskyni, árið 1597, settist fulltrúi hertogans af Mercoeur að nafni Saint-Laurent og réðst á hann. Kastalinn sem þegar var kallaður á þeim tíma La Latte, var tekinn í sundur, rændur, eyðilagður, brenndur. Aðeins dýflissan veitti mótspyrnu.

Það var í rústum kastala sem Sir Garengeau hafði áhuga á að styrkja ströndina til varnar Saint-Malo. Kastalanum var breytt í samræmi við það með samkomulagi Matignon á árunum 1690 til 1715. Hann á mikið af þeirri hlið sem við þekkjum hann að þakka.

Árið 1715 kom James Ill Stuart og leitaði þar skjóls og fannst staðurinn óheillvænlegur ... Það er satt að þar brást viðbjóðslegt kvöld í nóvember. Sama ár giftist Louise-Hippolyte Grimaldi (prinsessa af Mónakó) Jacques-François-Léonor Gouyon, herra af Matignon, og varð hertogi af Valentinois, að því gefnu að hann tæki nafn og vopn Grimaldi án þess að ganga til liðs við fjölskyldu hans.

Árið 1793 var ofninn byggður til að blóta kúlurnar og nokkrir grunaðir gagnbyltingar voru fangelsaðir.

Ungir Malouins tóku það með stormi, án árangurs, á Hundrað dögum (1815). Þetta var síðasti stríðsþátturinn hans.

Á nítjándu öld var hann smám saman yfirgefinn, hann hafði aðeins einn verndara. Hann var tekinn úr notkun af stríðsráðuneytinu árið 1890 og var seldur af lénunum árið 1892. Hann var að mestu í rústum þegar hann var flokkaður sem sögulegur minnisvarði árið 1925. Hann hefur verið endurreistur síðan 1931 af Joüon fjölskyldunni í Longrais og er opinn fyrir heimsóknina. . Hann varð mest heimsótti kastali í Bretagne, á eftir hertogunum í Nantes.