Sans doute occupé depuis l'antiquité, ce site est la propriété de la Famille de Polignac depuis le XIème siècle. L'emplacement stratégique commandait les routes à l'Ouest et au Nord de la ville du Puy-en-Velay. Pendant deux siècles, les vicomtes de Polignac s'opposeront aux évêques du Puy dans une lutte sans merci à propos des péages sur la route des pélerinages. « Les rois des montagnes », précieux alliés des rois de France, mais dotés d'un caractère fort indépendant, n'hésiteront pas à se rebeller contre l'autorité royale. Louis VI le Gros (1080-1137) puis Louis XI (1423-1483) durent forcer la forteresse pour y établir leur autorité.

Plus tard, Arnaud XVI recevra le roi François Ier (1494-1547) et sa suite au Château (1533). Il se battra à ses côtés contre Charles-Quint. Lors des guerres de religion les Polignac prirent le parti d'Henri IV (1553-1610), la forteresse devint le refuge des royalistes, face au Puy ligueur. Peu à peu, les Polignac tournèrent vers d'autres propriétés plus agréables à vivre délaissant la forteresse et son passé tumultueux.