La Roche Goyon leva o nome de uma das mais antigas famílias bretãs (chamadas Gwion, Goion, Gouëon, Goyon e Gouyon).

Uma lenda testemunha que um primeiro castelo foi construído por um Goyon sob Alain Barbe-Torte em 937.

O atual castelo, quanto a ele, foi iniciado antes do aparecimento do cânone na Bretanha (1364) e continuou por opção da boa sorte de Goyon na segunda metade do século XIV. Existia em 1379 desde que Du Guesclin enviou um destacamento a La Roche Goyon que resistiu bravamente. A fortaleza foi confiscada em benefício de Carlos V, depois devolvida ao seu proprietário pelo Tratado de Guérande (1381).

Durante o século XV, a ascensão social do Goyon continuou. Eles aparecem nos Estados da Bretanha. Um Goyon, camareiro do duque da Bretanha, se casará com a herdeira do baronato de Thorigni-sur-Vire. A família Goyon sai do berço bretão e vai para a história da França. O castelo recebe então um governador que se aloja numa casa arranjada para o efeito. Na época do encontro da Bretanha com a França (realizado durante o tratado de 1532), passa por uma nova sede (1490), desta vez inglesa, sem sucesso para os invasores.

O golpe de misericórdia foi realizado pela Liga. Jaques II Goyon, senhor de Matignon, marechal da França, governador da Normandia e da Guiana, ficou do lado de Henrique IV. Em retaliação, em 1597, um delegado do duque de Mercoeur chamado Saint-Laurent, sitiou e agrediu-o. O castelo já chamado na época La Latte, foi desmantelado, saqueado, devastado, queimado. Apenas a masmorra resistiu.

Foi num castelo em ruínas que Sir Garengeau se interessou em fortificar a costa para a defesa de Saint-Malo. O castelo foi transformado de acordo com o acordo de Matignon entre 1690 e 1715. Deve muito do aspecto que conhecemos.

Em 1715, James Ill Stuart veio e se refugiou ali e achou o lugar sinistro... É verdade que falhou uma noite desagradável de novembro. No mesmo ano Louise-Hippolyte Grimaldi (princesa de Mônaco) casou-se com Jacques-François-Léonor Gouyon, senhor de Matignon, tornou-se duque de Valentinois, providenciado para levar o nome e as armas dos Grimaldi sem se juntar à sua família.

Em 1793, a fornalha foi construída para corar as bolas e alguns suspeitos contra-revolucionários foram presos.

O jovem Malouins tomou de assalto, sem sucesso, durante os Cem Dias (1815). Este foi seu último episódio de guerreiro.

Durante o século XIX, ele foi gradualmente abandonado, tinha apenas um tutor. Desativado pelo Ministério da Guerra em 1890, foi vendido pelos Domínios em 1892. Encontrava-se em grande parte em ruínas quando foi classificado como Monumento Histórico em 1925. Foi restaurado desde 1931 pela família Joüon de Longrais e está aberto à visita . Tornou-se o castelo mais visitado da Bretanha, depois do dos duques de Nantes.