La Roche Goyon tieħu isimha minn waħda mill-eqdem familji Bretoni (imsejħa Gwion, Goion, Gouëon, Goyon u Gouyon).

Leġġenda tixhed li l-ewwel kastell inbena minn Goyon taħt Alain Barbe-Torte fl-937.

Il-kastell attwali, kif għalih, inbeda qabel deher il-kanonku fil-Brittanja (1364) imbagħad kompla bl-għażla tal-fortuna ta’ Goyon fit-tieni nofs tas-seklu XIV. Kien jeżisti fl-1379 peress li Du Guesclin bagħat stakkament lil La Roche Goyon li rreżistiet bil-qalb. Il-fortizza ġiet ikkonfiskata għall-benefiċċju ta’ Karlu V, imbagħad ingħatat lura lil sidha bit-Trattat ta’ Guérande (1381).

Matul is-seklu ħmistax, kompliet iż-żieda soċjali tal-Goyon. Jidhru fl-Istati tal-Brittanja. Goyon, chamberlain tad-duka ta’ Brittany, se jiżżewweġ lill-eredi tal-baronja ta’ Thorigni-sur-Vire. Il-familja Goyon titlaq mill-benniena Breton u tmur għall-istorja ta’ Franza. Il-kastell imbagħad jirċievi gvernatur li jiddepożita f'dar irranġata għal dan il-għan. Fiż-żmien tal-laqgħa tal-Brittanja ma Franza (realizzat matul it-trattat tal-1532), din tgħaddi minn sede ġdida (1490), bl-Ingliż din id-darba, mingħajr suċċess għall-invażuri.

Il-kolp ta’ grazzja sar mil-Lega. Jaques II Goyon, Lord ta’ Matignon, Marixxall ta’ Franza, Gvernatur tan-Normandija u Guyenne, kien qabad ma’ Henri IV. Bi tpattija, fl-1597, delegat tad-Duka ta’ Mercoeur jismu Saint-Laurent, assedjah u aggredih. Il-kastell diġà msejjaħ dak iż-żmien La Latte, ġie żarmat, misruq, ħarbat, maħruq. Il-dungeon biss irreżistiet.

Kien f’kastell f’rovina li Sir Garengeau kien interessat li jsaħħaħ il-kosta għad-difiża ta’ Saint-Malo. Il-kastell ġie trasformat skont il-qbil ta’ Matignon bejn l-1690 u l-1715. Huwa għandu ħafna mill-aspett li nafuh.

Fl-1715, James Ill Stuart daħal u ħa kenn hemm u sab il-post sinister ... Veru li hemm naqas lejla diżgustanti ta 'Novembru. L-istess sena Louise-Hippolyte Grimaldi (Prinċipessa ta 'Monako) iżżewġet Jacques-François-Léonor Gouyon, sid ta' Matignon, sar Duka ta 'Valentinois, sakemm jieħu l-isem u l-armi tal-Grimaldi mingħajr ma jingħaqad mal-familja tiegħu.

Fl-1793, il-forn inbena biex jgħammar il-blalen u ftit suspettati kontrorivoluzzjonarji ġew il-ħabs.

Żgħażagħ Malouins ħaduha b’salt, mingħajr suċċess, matul il-Mit Jum (1815). Dan kien l-aħħar episodju tiegħu ta’ gwerriera.

Matul is-seklu dsatax, kien gradwalment abbandunat, kellu gwardjan wieħed biss. Dekummissjonat mill-Ministeru tal-Gwerra fl-1890, inbiegħ mid-Dominji fl-1892. Kienet fil-biċċa l-kbira f'rovina meta ġiet ikklassifikata Monument Storiku fl-1925. Ġie restawrat mill-1931 mill-familja Joüon ta' Longrais u huwa miftuħ għaż-żjara. . Sar l-aktar kastell li jżurhom fil-Brittanja, wara dak tad-duki f’Nantes.