Da Birgitte Dinesens tipoldefar's bror Sophus Dinesen ejede Kragerup, lå avlsgården på det sted hvor herskabsstalden og parkeringspladsen mod syd ligger i dag. Avlsgården var kun 49 år gammel, da den brændte i 1892. De nye avlsbygninger valgte Sophus Dinesen, at placere længere væk fra hovedbygningen. Den nye avlsgård blev opført på den anden side af det der dengang var amtsvejen mellem Ruds Vedby og Slagelse. Efter avlsbygningerne stod færdige, valgte Sophus Dinesen at opføre en ny bygning til sine egne køre- og rideheste og til de fine hestevogne. Her ’boede’ altså herskabets heste, dvs. rideheste og deres føl samt alle hestevogne og kareter. Der blev bl.a. kørt søndagstur i åben hestevogn om sommeren. Under krigen var det forbudt at køre i bil, så derfor blev der kørt meget i hestevogn, bl.a. til stationen og til middag i nabolaget og til stranden om sommeren. For enden var der 2 rum hvor gartnereleven og skytteeleven boede. Det er der hvor værelse 11 & 12 er.

Jens Kraft Dinesen overtog Kragerup i 1910 og valgte i 1913, at ombygge dels hovedbygningen men også herskabsstalden. Han fik en af datidens mest kendte arkitekter Jens Ingwersen til at hjælpe og han foreslog bl.a. at der blev opført et lille tårn på et nye indgangsparti til hovedbygningen. Det nye indgangsparti på hovedbygningen blev ikke opført, men når nu arkitekten havde lavet tegninger til et fint lille tårn, så skulle de også bruges. Derfor kom tårnet på herskabsstalden, som stadig ses den dag idag. 

Arkitekt Jens Ingwersen renoverede og ombyggede mange af landets godser i perioden 1905 til 1950.

Siden blev Herskabsstalden til en bilgarage og i 2003 indrettede Birgitte først 6 hotelværelser og i 2007 yderligere 7 værelser mere.