La Roche Goyon ontleent zijn naam aan een van de oudste Bretonse families (genaamd Gwion, Goion, Gouëon, Goyon en Gouyon).

Volgens een legende werd in 937 een eerste kasteel gebouwd door een Goyon onder leiding van Alain Barbe-Torte.

Het huidige kasteel, wat hem betreft, werd begonnen vóór het verschijnen van de kanunnik in Bretagne (1364) en werd vervolgens voortgezet naar keuze van het geluk van Goyon in de tweede helft van de 14e eeuw. Het bestond in 1379 sinds Du Guesclin een detachement naar La Roche Goyon stuurde dat zich moedig verzette. Het fort werd geconfisqueerd ten behoeve van Karel V en vervolgens teruggegeven aan de eigenaar door het Verdrag van Guérande (1381).

Tijdens de vijftiende eeuw zette de sociale opkomst van de Goyon zich voort. Ze verschijnen in de Staten van Bretagne. Een Goyon, kamerheer van de hertog van Bretagne, zal trouwen met de erfgename van de baronie van Thorigni-sur-Vire. De familie Goyon verlaat de Bretonse wieg en gaat naar de geschiedenis van Frankrijk. Het kasteel krijgt dan een landvoogd die zijn intrek neemt in een daartoe ingericht huis. Op het moment van de ontmoeting van Bretagne met Frankrijk (gerealiseerd tijdens het verdrag van 1532), ondergaat het een nieuwe zetel (1490), Engels dit keer, zonder succes voor de indringers.

De genadeslag werd uitgevoerd door de Liga. Jaques II Goyon, heer van Matignon, maarschalk van Frankrijk, gouverneur van Normandië en Guyenne, had de kant van Henri IV gekozen. Als vergelding belegerde en viel een afgevaardigde van de hertog van Mercoeur, genaamd Saint-Laurent, hem in 1597 aan. Het kasteel dat toen al La Latte heette, werd ontmanteld, geplunderd, verwoest, verbrand. Alleen de kerker bood weerstand.

Het was in een kasteel in puin dat Sir Garengeau geïnteresseerd was in het versterken van de kust voor de verdediging van Saint-Malo. Het kasteel werd dienovereenkomstig getransformeerd met instemming van Matignon tussen 1690 en 1715. Het dankt veel van het aspect dat we hem kennen.

In 1715 kwam James Ill Stuart en zocht daar zijn toevlucht en vond de plaats sinister ... Het is waar dat er een nare avond van november is mislukt. In hetzelfde jaar trouwde Louise-Hippolyte Grimaldi (Prinses van Monaco) met Jacques-François-Léonor Gouyon, heer van Matignon, hertog van Valentinois, op voorwaarde dat hij de naam en wapens van de Grimaldi zou aannemen zonder zich bij zijn familie aan te sluiten.

In 1793 werd de oven gebouwd om de ballen te blozen en werden enkele contrarevolutionaire verdachten opgesloten.

Jonge Malouins veroverden het stormenderhand, zonder succes, tijdens de Honderd Dagen (1815). Dit was zijn laatste krijger aflevering.

In de negentiende eeuw werd hij geleidelijk in de steek gelaten, hij had maar één voogd. Ontmanteld door het Ministerie van Oorlog in 1890, werd het verkocht door de Domains in 1892. Het was grotendeels in puin toen het werd geklasseerd als historisch monument in 1925. Het is sinds 1931 gerestaureerd door de familie Joüon van Longrais en staat open voor bezoek . Het werd het meest bezochte kasteel in Bretagne, na dat van de hertogen in Nantes.