Steven van Roderlo wordt dan genoemd als leenman. Het stelsel van leenmannen die hun grond 'leenden' van hun graaf, voert terug tot het gouwenstelsel uit de tijd van Karel de Grote. Het geslacht Roderlo lijkt de eerste bewoner van het kasteel. Sinds 1420 is het kasteel, uitgezonderd een kleine onderbreking, in handen geweest van het geslacht Van Heeckeren.
De fundamenten zijn middeleeuws. Het huidige kasteel toont een mengeling van bouwstijlen uit latere perioden, van de 16e eeuw (rechter toren), 17e eeuw (kleine linkertoren) tot en met 18e eeuw (huidige voorgevel).
