Le château fort de la Hunaudaye a été construit vers 1220 par Olivier Tournemine. A cette époque, ce château protégeait la frontière Est du Penthièvre pays de Lamballeen conflit avec le Poudouvre région de Dinan.
Le château est détruit en 1341 lors de la Guerre de Succession de Bretagne. Cette guerre civile en Bretagne ravage le duché pendant une vingtaine d’années. A la fin du 14ème siècle, Pierre Tournemine commence la reconstruction du château en tenant compte des innovations militaires. Les trois grosses tours datent de cette époque comme les logis.
A la fin du 15ème siècle, la famille Tournemine devient puissante en Bretagne. Elle reçoit en 1487 le titre de baron de la Hunaudaye. La seigneurie s’étend au 16ème siècle sur plus de 80 paroisses. Il faut y ajouter les nombreuses autres terres, seigneuries et châteaux dans le Trégor et aux alentours de Nantes.