C'était au temps ou Haren était une campagne appréciée par la Noblesse et la grande bourgeoisie. Il était alors de bon ton d'y avoir son manoir, son rendez-vous de chasse voire, son château.

C'est ainsi, qu'en 1759, Jean-Nicolas Servandoni dit d'Hannetaire bâtit un château à Haeren sur le fief Ter Elst qu'il racheta à Marie-Anne van Langendonck, baronne d'Heembeek. D'Hannetaire est un acteur français, fils d'un peintre florentin et neveu  du Servandoni à qui on doit la façade de Saint Sulpice à Paris.

Outre son métier d'acteur, ses rentes lui permirent de s'offrir un tel édifice, et il dirigeat à trois reprise le théatre de la Monnaie (1745-1746; 1755-1759; 1767-1772), en étant chassé puis réintégré au gré de la politique de l'époque.

Entre 1760 et 1770, Haeren fut le rendez-vous du monde des théâtres et des grands seigneurs. Le prince Charles-Alexandre de Lorraine se rendait fréquemment à Haeren ou il trouvait joyeuse compagnie. Les charmantes "Lettres à Eugénie" du Prince de Ligne sont dédiées Eugénie d'Hannetaire, une des filles du comédien.

Bien qu'il n'en eut pas le droit, d'Hannetaire aimait se qualifier de baron , seigneur de Haeren. Sa première femme, décédée en 1761 repose dans l'église Sainte Elisabeth.

En 1771, il revendit son château à Jean-Antoine-Marie-Joseph comte vander Noot, baron de Schoonhoven, et de Marêts, seigneur de Beaumont, Piétrain, Pulderbosch et Haeren, chambellan de Marie-Thérèse, membre de l'état noble de Brabant. Ses descendants, par leur mère, portèrent le titre de marquis d'Assche.

En 1912, le château fut démoli, et par la volonté de la marquise, une école paroissiale fut construite à sa place. Une partie des pierres récupérées lors de la démolition servirent à bâtir la petite église de Diegem-Lo.

Du château Ter Elst, il ne reste qu'un vestige du mur d'enceinte du domaine; il sert de mitoyenté à des jardins situés Kasteelhof.

Il y eu d'autres château à Haren et ce depuis le XIII° siècle, mais c'est une autre histoire.