A l'origine, cette imposante bâtisse trônait au centre d'une vaste propriété appartenant jusqu'en 1780 à Gabriel Antoine MAGNION, sieur de LA CASSAIGNE, demeurant à Paris.
Une erreur de Scribe a fait que le nom de "CASSAIGNE" nous est parvenu en "CACHAINE".
C'est donc le 2 juillet 1780, que Mr Bernard GROS "avocat au Parlement et à la dite Sénéchaussée du Boulonnais, demeurant à la Haute Ville ou dit BOULOGNE" est devenu propriétaire du fief et de la ferme de LA CASSAIGNE, avec 114 à 120 mesures de terre situées à AUDISQUE. Ce fief touchait alors les limites, de la "La Garenne du Roy" à l'église d'ECAULT, jusqu'au ruisseau des Garennes.
Le prix en fut payé pour un montant de 18 000 livres en espèce, et une rente viagère de 900 livres, le Sieur de la CASSAIGNE, "se reservant seulement le nom de la CASSAIGNE, sa vie durant."
Mr Bernard GROS, Avocat connu et estimé devint député au Tiers Etat de la Province du Boulonnais, aux états généraux en 1789.
Député jusqu'a la fin de la Constituante, Me Bernard GROS devint Juge au Tribunal du District de Boulogne en 1792.
Sur un manuscrit, on peut lire:
"Je soussigné, Bernard GROS, déclare au Conseil Général de la Commune, que mon intention est de fixer mon domicile à ma maison d'AUDISQUE, commune de SAINT ETIENNE, canton de CONDETTE, ou je me rendrai demain avec ma famille.
A BOULOGNE, le Vingt Deux Octobre Mille Sept Cent Quatre Vingt Douze, l'An 4 de la liberté."
Simultanément, Mr Bernard GROS, donne sa démission de Juge. Eminent juriste il est appelé en consultations fréquentes à BOULOGNE, pour démêler le fatras des lois de l'Ancien Régime, emmêlées à celles de la Révolution.
C'est à Boulogne qu'il mourût en 1802, dans une des demeures situées à l'entrée du Château.
Le domaine de la Cassaigne devint la propriété de Madame MOULLART, baronne de Torcy.
C'est en 1892 que Madame DE CALONNE DE TORCY en devint propriétaire. A partir de cette date, le château fut communément désigné "Chateau de CALONNE". En hérita le comte Marie Xavier de CALONNE, décédé le 07 septembre 1954. Le domaine de la CASSAIGNE fut alors attribué à Mademoiselle Geneviève de CALONNE en 1956.
Peu aprés, ce château devint la propriété des frères DUDART, qui y créèrent un élevage de poulets en batterie.
Les A.P.O en firent l'acquisition et il abrita dans ses murs, des familles de Portugais émigrés, jusqu'en 1984 où la commune l'acheta pour y créer un centre culturel et de loisirs.