Her boede forvalteren, som ofte var den unge generation ejere. Den ældre godsejer boede i hovedbygningen, og når den unge generation kom hjem og blev forpagter/forvalter, boede de i forvalterboligen, indtil de flyttede på hovedbygningen, når den ældre generation døde. Det var også den unge generation, der havde alle elever og karle på kost, senest Birgittes mor Marie Louise Dinesen.

Birgitte Dinesen boede også her i hendes barndom, indtil hendes farfar døde i 1967, hvorefter hun flyttede på hovedbygningen med hendes familie. Birgitte Dinesen flyttede ned i forvalterboligen igen i 2008 sammen med Olav Ditlevsen. Da Birgitte og Olav i 2011 flyttede på Rugskov blev forvalterboligen indrettet til 2 konferencelokaler og 6 hotelværelser.