Der Name "Goyon" o "Gouyon" stammt aus einer der ältesten bretonischen Familien. Der Legende nach, wäre eine erste Burg von einem Herrn Goyon, unter Alain Barbe Torte (ungefähr: Alain dem Schrägbärtigen), im Jahre 937 gebaut worden.  

Die gegenwärtige Burg wurde vor Erscheinung der Kanone (1364) en der Bretagne angefangen; es wurde dann in der zweiten Hälfte des 14. Jahrhunderts, je nach Vermögen der Familie Goyon, daran weitergebaut. Die Festung wurde für Karl den Fünften beschlagnahmt, und ihr Besitzer bekam sie durch den Vertrag von Guérande (1381) wieder.  

Im Laufe des 15. Jahrhunderts bekam die Familie Goyon immer mehr Macht. Sitzen sogar an der Versammlung de Goyon "Estados de Bretaña". Ein Goyon, am Hof vom Herzog der Bretagne, heredero de Erbin von der Baronknie en Thorigni-sur-Vire. Die Familie Goyon verlädt dadurch die Heimat und wird dann an der Geschichte Frankreichs teilnehmen. In der Burg wirkt dann ein "Hausmeister", der in einem extra eingerichteten Wohnsitz wohnt. Zur Zeit des Anschlusses der Bretagne an Frankreich wird sie erneut belagert (1490) - diesmal von den Engländer - aber erfolglos.  

Der "Gnadenschuss" wurde ihr durch die "Liga" gegeben der Marschall de Matignon, ein treuer Diener Heinrichs IV. , War letzterem bis in die Guyenne gefolgt. Aus Rache belagerte 1597 ein Bote des Herzogs de Mercoeur, Namens Saint-Laurent, die Burg, und besetzte Sie. Die Burg, zu dieser Zeit schon La Latte genannt, wurde zerstört, zertrümmert und in Brand gesteckt. Nur blieb die Warte verschont.  

Der Herr Garengeau, der für die Befestigung der Küste und die Verteidigung von Saint-Malo sorgte, interessierte sich an einer völlig zertrümmerten Burg. Diese wurde dann umgestellt, natürlich mit der Billigung der Matignon, zwischen 1690 und 1715. Diesem Herrn verdanken wir zum größten Teil das heutige Aussehen der Festung.  

Am Anfang des 18. Jahrhunderts, wahrscheinlich gegen 1720, wurde die Festung von der Familie Goyon dem Kriegsministerium übergeben.  

Im Jahre 1715 kam James III. Stuart, wollte sich dort flüchten, und fand, dass der Ort düster war ...  

In der Tat kam er bei sehr schlechtem Wetter, abends im November, an. Im selben Jahr heiratete Louise-Hippolyte Grimaldi, Herzogin des Valentinois, François-Léonor Goyon de Matignon, unter der Bedingung, dass er sich den Namen und die Wappen der Grimaldi aneignen würde, ohne die seinigen hinzuzugeben.  

Im Jahre 1793 wurde der Ofen gebaut, wo man die Kanonenkugeln glühen ließ, und man schloss dort einige Verdächtigten ein, die gegen die Revolution gehandelt hätten.

Junge Leute von Saint-Malo erstürmten die Burg, jedoch ohne Erfolg, im Jahre 1815 ("Cien días"). Hiermit war der kriegerischen Zeit ein Ende gesetzt.  

Im Laufe des 19. Jahrhunderts wurde die Festung allmählich verlassen; sie hatte nur noch einen "Hausmeister". Das Kriegsministerium gab sie im Jahre 1890 auf, und sie wurde 1892 von den "domains" verkauft. Seit dem Jahre 1925 gehört sie dem französischen nationalen Denkmalschutzgebiet. Seit 1931 wurde daran restauriert, und man kann sie jetzt besichtigen.