Der Naam "Goyon" of "Gouyon" stammt aus einer der ältesten bretonischen Familien. Der Legende nach, wäre eine erste Burg von einem Herrn Goyon, unter Alain Barbe Torte (ungefähr: Alain dem Schrägbärtigen), im Jahre 937 gebaut worden.  

Die gegenwärtige Burg wurde vor Erscheinung der Kanone (1364) in der Bretagne angefangen; es wurde dann in der zweiten Hälfte des 14. Jahrhunderts, je nach Vermögen der Familie Goyon, Daran weitergebaut. Die Festung wurde für Karl den Fünften beschlagnahmt, und ihr Besitzer bekam sie durch den Vertrag von Guérande (1381) wieder.  

Im Laufe des 15. Jahrhunderts bekam die Familie Goyon immer mehr Macht. Goyon's sitzen sogar an der Versammlung "Staten van Bretagne". Ein Goyon, am Hof vom Herzog der Bretagne, erfgenaam van Erbin von der Baronknie in Thorigni-sur-Vire. Die Familie Goyon verlädt dadurch die Heimat und wird dann an der Geschichte Frankreichs teilnehmen. In der Burg wirkt dann ein "Hausmeister", der in einem extra eingerichteten Wohnsitz wohnt. Zur Zeit des Anschlusses der Bretagne an Frankreich wird sie erneut belagert (1490) - diesmal von den Engländer - aber erfolglos.  

Der "Gnadenschuss" wurde ihr durch die "Liga" gegeben der Marschall de Matignon, ein treuer Diener Heinrichs IV. , Oorlog letzterem bis in die Guyenne gefolgt. Aus Rache belagerte 1597 ein Bote des Herzogs de Mercoeur, Namen Saint-Laurent, die Burg, und besetzte Sie. Die Burg, zu dieser Zeit schon La Latte genannt, wurde zerstört, zertrümmert en in Brand gesteckt. Nur blieb die Warte verschont.  

Der Herr Garengeau, der für die Befestigung der Küste en die Verteidigung von Saint-Malo sorgte, interessierte sich an einer völlig zertrümmerten Burg. Diese wurde dann umgestellt, natürlich mit der Billigung der Matignon's, zwischen 1690 en 1715. Diesem Herrn verdankt wir zum größten Teil das heutige Aussehen der Festung.  

Am Anfang des 18. Jahrhunderts, wahrscheinlich gegen 1720, wurde die Festung von der Familie Goyon dem Kriegsministerium übergeben.  

Ik ben Jahre 1715 met James III. Stuart, wollte sich dort flüchten, und fand, dass der Ort düster war...  

In der Tat kam er bei sehr schlechtem Wetter, abends im November, an. Im selben Jahr erfgenaam Louise-Hippolyte Grimaldi, Herzogin van de Valentinois, François-Léonor Goyon van Matignon, unter der Bedingung, dass er sich den Namen und die Wappen der Grimaldi aneignen würde, ohne die seinigen hinzuzugeben.  

Im Jahre 1793 wurde der Ofen gebaut, wo man die Kanonenkugeln glühen ließ, und man schloss dort einige Verdächtigten ein, die gegen die Revolution gehandelt hätten.

Junge Leute von Saint-Malo erstürmten die Burg, jedoch ohne Erfolg, im Jahre 1815 ("Honderd dagen"). Hiermit war der kriegerischen Zeit ein Ende gesetzt.  

Im Laufe des 19. Jahrhunderts wurde die Festung allmählich verlassen; sie hatte nur noch einen "Hausmeister". Das Kriegsministerium gab sie im Jahre 1890 auf, und sie wurde 1892 von den "landgoederen" verkauft. Seit dem Jahre 1925 gehört sie dem französischen nationalen Denkmalschutzgebiet. Seit 1931 wurde daran restauriert, und man kann sie jetzt besichtigen.