Das zwischen Charlottenberg und Dörnberg gelegene – hervorragend renovierte – landwirtschaftliche Anwesen hat eine lange Geschichte, die bis ins Mittelalter zurückreicht. Zu jener Zeit entstand hier eine kleine Ortschaft namens „Rupertsberge“, die eng mit dem unweit entfernten Kloster Arnstein verbunden war. Nur der Bergerhof, der sich zunächst in arnsteinischem Besitz, dann in Händen der Grafschaft Holzappel und anschließend in schaumburgischem Besitz befand, hat die Zeiten überdauert. Der Ort selbst ist verschwunden.
Die Hofgebäude des Bergerhofs bilden mit dem renovierten Wohntrakt und den drei anliegenden ehemaligen Wirtschaftsgebäuden einen imposanten geschlossenen Innenhof. Die auffällige Lindenbaumgruppe, die so genannte „Friedrichsruh“, befindet sich im südlich angrenzenden Rosengarten und liefert dem Anwesen seinen äußeren charakteristischen Charme.
Die landwirtschaftliche Nutzung des Bergerhofs ist längst Geschichte. Das 2007 an die Familie von Anshelm verkaufte geschichtsträchtige Hofgut wurde durch die neuen Besitzer aufwendig renoviert und wird nun als Landhaus für Familienfeiern, Hochzeiten und Firmenevents genutzt. Die Besitzer halten auf dem Gelände noch Pferde und einige Pfauen. Das Gehöft atmet Geschichte und kombiniert harmonisch seinen historischen Charme mit den Annehmlichkeiten und dem Komfort der Moderne.