La Roche Goyon prende il nome da una delle più antiche famiglie bretoni (chiamate Gwion, Goion, Gouëon, Goyon e Gouyon).

Una leggenda testimonia che un primo castello fu costruito da un Goyon sotto Alain Barbe-Torte nel 937.

L'attuale castello, come per lui, fu iniziato prima della comparsa del canonico in Bretagna (1364) poi proseguito ad insindacabile giudizio di Goyon nella seconda metà del XIV° secolo. Esisteva nel 1379 da quando Du Guesclin inviò un distaccamento a La Roche Goyon che resistette valorosamente. La fortezza fu confiscata a beneficio di Carlo V, poi restituita al suo proprietario con il Trattato di Guérande (1381).

Durante il XV secolo, l'ascesa sociale dei Goyon continuò. Appaiono negli Stati della Bretagna. Un Goyon, ciambellano del duca di Bretagna, sposerà l'erede della baronia di Thorigni-sur-Vire. La famiglia Goyon lascia la culla bretone e va nella storia della Francia. Il castello riceve poi un governatore che alloggia in una casa predisposta a tale scopo. All'epoca dell'incontro della Bretagna con la Francia (realizzato durante il trattato del 1532), subisce una nuova sede (1490), questa volta inglese, senza successo per gli invasori.

Il colpo di grazia è stato portato dalla Lega. Jaques II Goyon, signore di Matignon, maresciallo di Francia, governatore della Normandia e della Guyenne, si era schierato con Enrico IV. Per rappresaglia, nel 1597, un delegato del duca di Mercoeur di nome Saint-Laurent, lo assediò e lo assalì. Il castello, già allora chiamato La Latte, fu smantellato, saccheggiato, devastato, bruciato. Solo il dungeon ha resistito.

Fu in un castello in rovina che Sir Garengeau era interessato a fortificare la costa per la difesa di Saint-Malo. Il castello fu trasformato di conseguenza con l'accordo di Matignon tra il 1690 e il 1715. Deve molto dell'aspetto che lo conosciamo.

Nel 1715 giunse Giacomo Ill Stuart, vi si rifugiò e trovò il luogo sinistro... È vero che vi fallì una brutta sera di novembre. Lo stesso anno Louise-Hippolyte Grimaldi (Principessa di Monaco) sposò Jacques-François-Léonor Gouyon, signore di Matignon, divenuto duca di Valentinois, a condizione di prendere il nome e le armi dei Grimaldi senza unirsi alla sua famiglia.

Nel 1793 fu costruita la fornace per far arrossire le palle e alcuni sospetti controrivoluzionari furono imprigionati.

I giovani Malouins lo presero d'assalto, senza successo, durante i Cento giorni (1815). Questo è stato il suo ultimo episodio di guerriero.

Nel corso dell'Ottocento fu gradualmente abbandonato, aveva un solo tutore. Dismesso dal Ministero della Guerra nel 1890, fu venduto dai Domini nel 1892. Era in gran parte in rovina quando fu classificato Monumento Storico nel 1925. È stato restaurato dal 1931 dalla famiglia Joüon di Longrais ed è aperto alla visita . Divenne il castello più visitato della Bretagna, dopo quello dei duchi di Nantes.