En forme de U, ouvrant au nord sur le plan d’eau et au sud sur le parc, le château présente des façades harmonieuses surmontées de nombreuses tourelles.
Du premier château du Moyen Age, il ne reste dans la partie nord-est, que quelques fenêtres sculptées surmontées d’une accolade.
Jusqu’au XVIIème siècle, le sort du château est lié à celui de la Forteresse de Largoët à Elven, et à la succession des familles de Largoët, puis de Malestroit, de Rieux, de Coligny. Le domaine s’agrandit de bois, rivières et moulins, devient une seigneurie au XVIIème siècle, avec haute et basse justice. Avant la Révolution, le château appartient à la famille de Lantivy.
En 1851, M. du Fresne de Virel, propriétaire des forges et d’un haut fourneau, fait construire l’église St Martin et restaurer le château dans le style néogothique, très à la mode de l’époque.
Le château reste dans la famille de Virel jusqu’en 1979, date à laquelle M.Turpin le rachète. Sans toucher à l’extérieur, il aménage des salles de réception pour mariages et une résidence de vacances. Seul le parc se visite.