Stavbu si objednal a financoval vzdělaný pan Jan Šembera Černohorzámekský z Boskovic, ve své době jeden z nejbohatších moravských šlechticů. Vystudoval v Itálii a Vídni, honosil se vysokými dvorskými tituly, ale znám byl především jako milovník světských radovánek, znalec koní, excelentní jezdec a velký příznivec umění. Vzdělání a bohatství mu umožnilo nejen stavbu, ale i výzdobu zámku objednat u prvotřídních umělců, takže celý čtyřkřídlý zámek se třemi patry arkád a komponovanou zahradou skvěle reprezentoval postavení rodu i pana Jana Šembery. S jeho obrazkrásnou dcerou Kateřinou vyženil panství Maxmilián z Lichtensteina. Za něho byla v letech 1635-37 na nádvoří umístěna nádherná manýristická kamenná kašna, provedená Petrem Maternou podle návrhu Giovanniho Giacoma Tencally a přistavěny 4 rohové věže s kovovými "lucernami". Ty však pro velkou tíhu musely být s věží postupně sejmuty. Obrannou kvalitu prokázala stavba v roce 1645, kdy ji hrstka vrchnostenských úředníků, myslivců a měšťanů ubránila proti početnému švédskému oddílu.