La Roche Goyon je dobil ime po eni najstarejših bretonskih družin (imenovani Gwion, Goion, Gouëon, Goyon in Gouyon).

Legenda priča, da je prvi grad leta 937 zgradil Goyon pod Alainom Barbe-Tortejem.

Sedanji grad se je zanj začel, preden se je kanonik pojavil v Bretanji (1364), nato pa se je nadaljeval po izbiri Goyonove sreče v drugi polovici XIVème stoletja. Obstojala je leta 1379, odkar je Du Guesclin poslal odred v La Roche Goyon, ki se je hrabro upiral. Trdnjava je bila zaplenjena v korist Karla V., nato pa je bila z Guérandsko pogodbo (1381) vrnjena njenemu lastniku.

V petnajstem stoletju se je družbeni vzpon Goyona nadaljeval. Pojavljajo se v zveznih državah Bretanja. Goyon, komornik vojvode Bretanje, se bo poročil z dedinjo baronije Thorigni-sur-Vire. Družina Goyon zapusti bretonsko zibelko in se poda v zgodovino Francije. Grad nato prejme guvernerja, ki se nastani v za ta namen urejeni hiši. V času srečanja Bretanje s Francijo (realiziranega med pogodbo iz leta 1532) je podrejeno novemu sedežu (1490), tokrat v angleščini, brez uspeha za napadalce.

Državni udar je izvedla Liga. Jaques II Goyon, gospodar Matignona, francoski maršal, guverner Normandije in Guyenne, je bil na strani Henrija IV. V maščevanje ga je leta 1597 oblegal in napadel delegat vojvode Mercoeurja po imenu Saint-Laurent. Grad, ki se je takrat že imenoval La Latte, je bil razstavljen, oropan, opustošen, požgan. Uprla se je le ječa.

Sir Garengeau je bil v gradu v ruševinah zainteresiran za utrjevanje obale za obrambo Saint-Malo. Grad je bil ustrezno spremenjen z Matignonovim dogovorom med letoma 1690 in 1715. Dolg je velik del vidika, ki ga poznamo.

Leta 1715 je prišel James Ill Stuart in se tam zatekel in našel kraj zlovešč ... Res je, da ni uspel grdi novembrski večer. Istega leta se je Louise-Hippolyte GrimaIdi (princesa Monaka) poročila z Jacques-François-Léonor Gouyon, gospodarjem Matignona, postala vojvoda Valentinois, pod pogojem, da prevzame ime in orožje Grimaldija, ne da bi se pridružil svoji družini.

Leta 1793 je bila pečica zgrajena za zardevanje kroglic, nekaj osumljencev proti revoluciji pa je bilo zaprtih.

Mladi MaIouini so ga v sto dneh (1815) neuspešno prevzeli brez uspeha. To je bila njegova zadnja epizoda bojevnika.

V devetnajstem stoletju so ga postopoma opustili, imel je samo enega skrbnika. Vojaško ministrstvo ga je leta 1890 razgradilo, leta 1892. pa so ga prodali Domeni. Večinoma je bilo v ruševinah, ko je bilo leta 1925 razvrščeno kot zgodovinski spomenik. Od leta 1931 ga je obnovila družina Joüon iz Longraisa in je odprto za obisk. . Postal je najbolj obiskan grad v Bretanji, po gradu vojvodov v Nantesu.