Jan Cools verkocht het Kasteel “Het Steen” uit noodzaak ( omwille van schulden) aan Rubens in 1631 voor 93.000 Carolusgulden. In de loop der tijden is het kasteel meermaals van eigenaar gewisseld.

Eigenaars van het steen waren onder andere  Arnoldus van Wilre “van den steen” of “de lapide” , waardoor hij vaak als bouwer en/of bewoner van het Steen wordt beschouwd.De benaming “Steen” zou verwijzen naar een tot begin 18de eeuw vermelde vierkante “stenen” toren die nu niet meer aanwezig is.

Jan Cools was eigenaar en verkocht het in 1631 aan  P.P. Rubens en H. Fourment om het als buitenverblijf te gebruiken. Dit was toen gebruikelijk voor welgestelde stedelingen en oa de schilder David Teniers had een goed  in Perk, niet zo ver van Het Steen.

Na Rubens’ dood (1640) ging het via het tweede huwelijk van H. Fourment over op de Bergeycks de Broeckhoven die het Steen sporadisch betrokken.

Nadien oa  Albertina F. Wynants (bouwde het gastenkwartier) en vanaf 1771 L.B. Dewez de bekende hofarchitect die toen werkte aan het tuchthuis in  Vilvoorde.

Verdere eigenaars waren recenter de familie C.W. Coppens uit Gent; Senator de Becker-Remy (1914) en nadien door de Familie Maison (1955).

Deze verkoopsaankondiging uit 1934 beschrijft mooi de kamers en de omgeving. van het Rubenskasteel te Elewijt uit 1934 met een mooie beschrijving van de kamers en de omgeving. Het is niet duidelijk of het kasteel daadwerkelijk werd verkocht. Het werd immers volgens de info op Inventaris onroerend erfgoed door de erfgenamen van De Becker Remy aan Dhr Maison verkocht in 1955.