De familie Zegers bewoonde het Huis in de negentiende eeuw. Johan Zegers, burgemeester van Lage, was heer van Breckelenkamp van 1812 tot 1863. Hij had een gespannen relatie met Willem van Heeckeren van Twickel. Na zijn overlijden voerden zijn vrouw en zijn dochter Heloise correspondentie met Twickel, voornamelijk over bezittingen van de familie Zegers te Lage.
