La première mention du " Plebem Eluen " remonte à 910. Le nom apparaît dans le cartulaire de l'abbaye de Redon (Ille-et-Vilaine). L'origine du mot " plebem " peut être double : il dérive soit du latin " plebs " (génitif " plebis ") qui signifie " masse populaire ", " gens du commun ", ou du breton " plou ", " pays ". Difficile donc d'établir si l'auteur de ce document souhaitait mentionner la paroisse, le pays, ou le peuple qui y habitait. Elven est à nouveau signalé dans ce même cartulaire en 1021. " Argoët " signifie bois.

Dans les premières années du XIIe siècle, Elven passe entre les mains de la puissante famille de Malestroit. C'est probablement de cette époque que date la fondation de la forteresse primitive, même si son existence n'est confirmée qu'à la fin du XIIIe siècle. On a trop souvent confondu Largoët avec " le chastiel de Ghoy le Forest " mentionné par Jean Froissart à l'année 1342. Le chroniqueur en explique le siège dans les moindres détails " Quant messires Gautier de Mauni se fut partis de Fauet et il eurent pris le chemin de Hembon, ils vinrent passant par devant le fort castiel que on claime Ghoy-le-Forest, qui, XV jours devant, estoit rendu à monseigneur Carlon de Blois […] li fossé furent rempli à l'un des lés d'estrain et de bois et de terre gettée par dessus, par quoy il pooient bien parvenir jusques as murs. Adont assaillirent-il plus fort que devant, et avoient pils dont il pertuisèrent le mur, et y fissent ung si grant trau que par ce il reversèrent ung pan dou mur, et entrèrent ens de force et ochirent tous ceux qui dedens estoient, excepté IIII qu'il enmenèrent prisonnier. " Nombre d'analystes n'ont pas manqué d'effectuer le rapprochement entre ce château de Ghoy-le-Forest et Largoët. Froissart ne connaissait pas le breton. Le mot coët aurait pu, sous sa plume, devenir Ghoy. Cette explication semble toutefois irrecevable. Les indications géographiques données sont précises : la forteresse citée se tenait sur la route tracée entre Le Faouet et Hennebont. Le baron Kervyn de Lettenhove, auteur d'une monumentale réédition des " Chroniques ", place Ghoy sur le territoire de l'actuelle commune de Languidic, à quelques kilomètres de Hennebont.

Nous n'avons en fait que peu d'informations concernant son rôle durant la Guerre de Cent Ans. En 1347, A la mort de Péan IV de Malestroit, Largoët passe à une branche cadette des Malestroit : Les Châteaugiron. Jean II de Malestroit-Châteaugiron entreprend à partir de 1374 la réorganisation complète de sa forteresse et notamment la construction du grand donjon octogonal toujours visible. Fait intéressant, son frère cadet, Alain de Malestroit, obtient en 1392 l'autorisation de construire un château à Oudon (Loire-Atlantique). Il y bâtira une grosse tour similaire par bien des points à celle de Largoët.

Le château passe ensuite au gré des mariages dans le patrimoine de Jean Raguenel, maréchal de Bretagne, puis dans celui de la famille de Rieux (1471). En 1488, pendant la guerre de succession de Bretagne, l'armée du roi Charles VIII s'en empare après un dur siège. Restauré puis abandonné dans le courant du XVIe siècle, il est vendu au surintendant de Louis XIV Nicolas Fouquet en 1656. Il est déjà très dégradé à cette époque.