A proximité du site du château, se trouve une chapelle qui remplace un lieu de culte évoqué dans le Compoix (ancêtre du cadastre) de 1777 sous le nom de « Chapelle Saint-Roch dans le Fort ».
Cette dernière a été vendue en 1792 en tant que bien national et démantelée en partie.

L’actuelle chapelle, dédiée à Saint-Joseph, a été construite dans le dernier quart du XIXème siècle, suite à une souscription publique lancée par l’abbé HUGONET, curé de Fitou. Elle avait pour objet de recentrer le lieu de culte sur la paroisse, l’église d’abord (celle actuelle) étant éloignée du village tel qu’il était au XIXème siècle (autour du château).

Elle a été agrandie successivement par l’adjonction d’un abside de plan carré, d’une sacristie et enfin au XXème siècle on lui a adjoint l’horloge du village qui fait également fonction de clocher.
Désaffectée  en 1996 et rendue à un usage civil, elle fait aujourd’hui office de lieu d’expositions temporaires et d’animation culturelle.

On peut signaler que l’ensemble du territoire communal était ponctué de nombreux sites rendant compte d’une tradition cultuelle. Ainsi, à la sortie nord des Cabanes de Fitou (au bord de la départementale), se trouvait une chapelle aujourd’hui disparue et signalée par une croix de fer sur un socle en ciment placée sous le vocable de Sainte-Madelaine.

Au XVIIéme siècles les actes faisaient état d’une chapelle rurale lieu-dit « la ferme ABELANET », ancien relais de poste (au bord de la départementale, aujourd’hui emplacement d’un restaurent) dénommée « Chapelle Saint-Loup » qui est encore visible de nos jours. Dans le village, rue de l’Église, une autre désaffectée et transformée en cave de vinification, s’appelait « Chapelle Sainte-Catherine ».

La mémoire collective n’a guère de souvenir de ces édifices.