Bernard van de Bongart, Heer van Bongart en Ter Lucht