V roce 1724 zakoupil statek Jan Jáchym Pachta z Rájova a jeho syn František Josef nechal v letech 1742-1750 na místě původní Velkodvorské tvrze postavit zámek. Tvrz tedy byla zbořena a dnes ji připomíná pouze sklepení s pilíři pod hlavní zámeckou budovou. V roce 1770 pak k této budově podle plánů F. Hegera přibyla boční křídla. Po požáru v roce 1817 byl obnoven ve stejné podobě. V roce 1881 jej od Pachtů z Rájova odkoupil císař František Josef I. a v roce 1918 přešel do vlastnictví státu. K roku 2002 byl v soukromém vlastnictví a postupně byl rekonstruován.