C'est en 1956, que l'Association des Amis de Charles DESPIAU et Robert WLERICK proposait l'idée d'un musée.

Membres de l'Association:
M.Arnaudie, R.Bourrus, E.Causse, A.Dussel, R.Farbos, H.Lacoste, G.Larrieu, J.Latappy, H.Festernale, S.Labatut, E.Daru.

1962: La municipalité (MM Ch. Lamarque-Cando, H.Lacoste) acceptait le projet d'une réalisation par étapes.

1958: Les oeuvres sont collectées.

1968: L'Association fait donation à la ville des 70 oeuvres confiées à elle par Mme Despiau et Mme Wlérick.

1970: la Maison Romane voisine est restaurée. Les collections du Musée DUBALEN (archéologie, préhistoire, histoire naturelle) sont transportées et présentées dans trois salles. Les aménagements sont réalisés par Jean Latapy. MM.Lenoir et Schmidt en font l'inventaire.

1975: Découverte de vestiges archéologiques.

1978: Démission de Raymond Farbos. Les Amis de Despiau et Wlérick quittent le Musée pour s'installer dans la halle aux grains de Mont de Marsan.

Le reste est inscrit dans l'historique des expositions. Si la restauration des Bâtiments fut faite grâce à des fonds publics, le Centre d'Art Contemporain Raymond Farbos est un lieu privé qui a besoin, outre les subventions, de la générosité des mécènes pour assurer financièrement sa pérennité.