Le Puy aux Muses a été créé en 2001 par Mme Simone Goulfier.
C’est une association qui se donne pour objectif de promouvoir les ressources de la bibliothèque, et ce par la mise en œuvre en son sein de tous les moyens favorisant le développement de la lecture :
-promotion du livre et de la lecture
- animations et rencontres culturelles de toutes natures
-organisations de spectacles
-expositions diverses
-valorisation des activités associatives d’Ayen et des communes environnantes dans ces domaines
Le siège social de l'association se trouve à la bibliothèque ; où ses membres se réunissent régulièrement afin de décider de la programmation des animations.
Le Président actuel du PAM est M. Bernard Faurie ; la trésorière est Mme Janine Favard.
Mme Simone Goulfier, première présidente du Puy aux Muses, est depuis 2015 la présidente d’honneur du Puy aux Muses.