Prvním dokladem o existenci panského sídla na dnešním místě je nápis z poloviny 16. století vtesaný do nadpraží zaniklého vnějšího portálu (dnes druhotně osazen v jedné z učeben v přízemí zámku). Text zní: „Leta Panie 1562 tento duom gest stawen nakladem urozeneho Pana pana Zygmunda z Sselnberka a z Kosty a na Wrchowinie.“ Původně se jednalo o jednokřídlou budovu rozkládající se v prostorách dnešního hlavního schodiště ZUŠ a části smuteční síně. Po roce 1918 se město Choceň neúspěšně snažilo domoci si soudní cestou vyvlastnění zámku; měla zde být zřízena obchodní škola. Za okupace byl objekt zámku využíván nejdříve pro potřeby Hitler - Jugend, poté zde byli umístěni francouzští zajatci a ke konci války sloužil jako ubytovna pro pracovníky koncernu Hermann Goering - Werke. V roce 1945 byl zámek zkonfiskován na základě Dekretů prezidenta republiky. Jižní křídlo bylo přenecháno pro potřeby nově založené hudební školy, severní křídlo slouží Orlickému muzeu.