Doordat Hendrik Jan Francois, baron van Scherpenzeel in 1765 kinderloos overlijdt sterft het hele geslacht van Scherpenzeel uit.