Prvá zmienka o kaštieli ako o kúrií je z roku 1449. Je však pravdepodobné, že už na prelome 13. a 14. storočia stál na tomto mieste „hrad“ – sídlo mocných zemepánov – Drugethovcov, ktorí vlastnili Humenné a okolie i neďaleké hrady. O jeho vzhľade a rozlohe však nič bližšieho nevieme. Nové stavebné obdobie nastáva po roku 1619, keď mestečko a jeho blízke okolie dobyl Gabriel Bethlen. V tomto roku totiž do základov vyhorel starý hrad a na jeho mieste dali Drugethovci, konkrétne Gabriel Drugeth postaviť veľký reprezentačný kaštieľ. Výstavba trvala niekoľko rokov a mnohé zaujímavosti nám prezrádzajú dochované listiny z rokov 1641 – 1661. Murár Krištof dostal 130 forintov a 30 grošov, okožovanie chodieb stálo 30 forintov, na pokrytie polovice kaštieľa dali vyrobiť 150 tisíc šindľov čo stálo 235 forintov atď. Postupne vznikala veľká budova štvorcového pôdorysu s ústredným dvorom a mohutnými štvorcovými nárožnými vežami, ktoré zaručovali bezpečnosť. Ako spomienka na stredoveký hrad ostal zachovaný padací most pri vstupe do kaštieľa.