Výstavba kaštieľa je spojená s rodinou Brunsvikovcov. Pôvodne zemiansky rod sa na území dnešného Slovenska preukázateľne nachádzal v Hlohovci v 16. storočí. Sobášom s Máriou Teréziou Vitálisovou sa Michal II. Brunsvik (1671 – 1719) stal majiteľom krupského panstva. Jeho syn Anton, ktorý vyštudoval právo na trnavskej univerzite, nechal v rokoch 1749 – 1756 na mieste staršieho objektu postaviť kaštieľ v barokovom slohu podľa projektov cisárskeho dvorného staviteľa Johanna Baptistu Martinelliho st. V roku 1775 panovníčka Mária Terézia povýšila Antona I. Brunsvika do grófskeho stavu s právom nosiť predikát de Korompa (z Krupej). Kaštieľ patrí medzi najkrajšie príklady vidieckej klasicistickej architektúry na Slovensku. Vo svojej dobe sa vďaka Brunsvikovcom stala Dolná Krupá miestom, ktoré sa aj za hranicami monarchie preslávilo umeleckými zbierkami (najmä obrazová galéria), bohatou knižnicou, zbierkami minerálov, ale aj prírodnými krásami parku. V samostatnej divadelnej budove (jestvovala do roku 1937) uvádzali predstavenia za aktívnej účasti panstva, manželka grófa Jozefa, Mária Anna,