Den ældste kendte del af hovedbygningen er i dag hvælvingekælderen, som kan dateres tilbage til år 1610.

Godsets hovedbygning er gennem tiden genopbygget eller ombygget flere gange – i år 1625 af Rigskansler Christen Friis, i år 1801 af Justitsråd Jens Kraft Dinesen, der renoverede midterfløjen, og i år 1838 og år 1840 af hans søn Anders Didrich Dinesen, der ombyggede sidefløjene.

Hovedbygningen var tidligere spejlvendt med vindebro mod øst for at afskærme sig fra fjenderne.

Afskærmning mod fjenderne
Murstenene er munkesten, der er brændt på Kragerups eget teglværk. Hvis man ser på ydermurenes tykkelse, vil man se at murene mod voldgraven er væsentlig tykkere (70 cm) end de mure, som vender ind mod gårdspladsen (20 cm). Den voldsomme tykkelse skyldes at væggene skulle kunne modstå kanonkugler og angreb i urolige tider.

Nordfløjen
Nordfløjen blev oprindeligt bygget som herskabets private bolig. At man dengang valgte en nordfløj som de private gemakker skyldtes, at man ville skærme for solens lys, da de fine fruer meget nødigt skulle blive solbrændte.

I senere tid var der vaskekælder med store gruekedler, det store folkekøkken, brænde og koksopbevaring samt sul- og sylterum.