Tårnhuset ble bygget i 1906 av Nils Hansen. Han var eier av Åsgården (lenger oppover mot dagens Kjærkryss), hvor han bygget Åsgården pensjonat i 1887. Pensjonatet var vel anskrevet og hadde god søkning. Edvard Munch henstilte til sine to søstre å leie seg inn på pensjonatet. I 1889 leiet Christian Krohg, med sin Oda, seg inn i juni måned, og Oda fødte sin sønn, Per, den 18. juni. Han ble døpt i Borre kirke den 19. juni. Blant gjestene var Edvard Munch.

I 1906 solgte Hansen Åsgården og flyttet inn i Tårnhuset.