La Roche Goyon бере свою назву від однієї з найстаріших бретонських родин (називається Gwion, Goion, Gouëon, Goyon і Gouyon).

Легенда свідчить, що перший замок був побудований Гойоном під керівництвом Алена Барбе-Торта в 937 році.

Нинішній замок, на його думку, був започаткований ще до появи канону в Бретані (1364 р.), а потім продовжився за вибором щасливого Гойона в другій половині XIV ст. Він існував у 1379 році з тих пір, як Дю Гесклен відправив загін до Ла Рош Гойон, який чинив відважний опір. Фортеця була конфіскована на користь Карла V, а потім повернута її власнику за Герандським договором (1381).

Протягом п'ятнадцятого століття соціальний підйом Гойона тривав. Вони з'являються в штатах Бретань. Гойон, камергер герцога Бретані, одружиться зі спадкоємицею баронства Торіньї-сюр-Вір. Сім'я Гойон залишає бретонську колиску і відправляється в історію Франції. Потім замок приймає губернатора, який оселяється в будинку, влаштованому для цієї мети. Під час зустрічі Бретані з Францією (реалізованої під час договору 1532 р.) вона отримує нове місце (1490 р.), цього разу англійське, безуспішно для загарбників.

Переворот був здійснений Лігою. Жак II Гойон, лорд Матіньйона, маршал Франції, губернатор Нормандії і Гієнна, став на бік Генріха IV. У помсту в 1597 році делегат герцога Меркерського на ім’я Сен-Лоран взяв в облогу і напав на нього. Замок, що вже називався на той час Ла Латте, був розібраний, пограбований, спустошений, спалений. Тільки підземелля чинило опір.

Саме в руїнах замку сер Гаренжо був зацікавлений у зміцненні узбережжя для оборони Сен-Мало. Замок був відповідно перетворений за угодою Матіньйона між 1690 та 1715 роками. Багато в чому він зобов’язаний знайомим нам виглядом.

У 1715 році Джеймс Ілл Стюарт прийшов і знайшов там притулок і знайшов місце зловісне ... Правда, там пройшов неприємний вечір листопада. Того ж року Луїза-Іполіта Грімальді (принцеса Монако) вийшла заміж за Жака-Франсуа-Леонора Гуйона, лорда Матіньйона, став герцогом Валентинуа, надавши йому ім'я та зброю Грімальді, не приєднуючись до його сім'ї.

У 1793 році була побудована піч, щоб почервоніти кульки, і кілька підозрюваних у контрреволюції були ув'язнені.

Молоді Малуїни взяли його штурмом, безуспішно, під час «Сто днів» (1815). Це був його останній бойовий епізод.

Протягом ХІХ століття він поступово був покинутий, у нього був лише один опікун. Знятий з експлуатації військовим міністерством у 1890 році, він був проданий Доменами в 1892 році. Він був переважно в руїнах, коли був класифікований як історичний пам’ятник у 1925 році. З 1931 року його відновлювала родина Джоун з Лонграйса і відкрита для відвідування. . Він став найбільш відвідуваним замком у Бретані після замку герцогів у Нанті.