Johan Swaving, schout en notaris van het gerecht Oostveen, liet in 1731 een dubbel herenhuis met daarachter een boerderij bouwen aan de Maartensdijkse wetering. Vanaf 1800 was de familie De Rovere van Breugel eigenaar van huis en landgoed. In 1919 koopt J.Klever Rustenhoven. Zijn schoonzoon, Frits Lugt, had een collectie 17e eeuwse kunst en maakte de aanbouw van de grote ovale zaal, om daarin zijn kunst te kunnen ophangen. Ook liet hij daarna nog een villa, een prieel, een tuinmanshuis en een koetshuis bouwen. Dit project is in de jaren 1925 -1927 o.l.v. architect Slothouwer en aannemer Van Es uitgevoerd. Van 1947 tot 1975 was J.M. Fentener van Vlissingen eigenaar van het 120 ha. grote landgoed. De hofstede was tijdens en na de bezetting uitgewoond. Hij liet het huis grondig verbouwen en moderniseren. Als Bert Bolle in 1975 Rustenhoven koopt, richt hij het huis in1985 in als barometermuseum. Door een verbod op het bezit van het metaal kwik, dat veel in barometers wordt gebruikt, is hij in 1999 gedwongen om alles te verkopen. Het huis wordt weer woonhuis. Bert Bolle vertrekt met zijn hele collectie naar Australie.