V místech dnešního zámku dříve stála vodní tvrz, která je nepřímo doložená v 15. století. Zásadní změna přišla na konci 15. století, kdy se Losiny dostaly do držení Žerotínů. Malá tvrz nemohla odpovídat vysokým nárokům jednoho z nejbohatších moravských rodů. Ve 2. polovině 16. století byl na místě tvrze vystavěn honosný třípatrový zámek, k němuž později Žerotínové přistavěli arkády. Na přelomu 16. a 17. století vznikl naproti vysokého zámku trojkřídlý hospodářský objekt, který uzavřel nádvoří. Stavitel zámku, Jan mladší ze Žerotína, zvaný Jan Losinský, jej navíc nechal kompletně opatřit sgrafitovou výzdobou. Losinský zámek, respektive losinské panství, je spojeno s tzv. čarodějnickými procesy, které zde probíhaly v letech 1678 - 1692. Za oběť inkvizičního tribunálu zde padlo 56 nešťastníků. Objekt sám je jednou z nejlépe zachovaných renesančních staveb v České republice, podobně jako jeho interiér. Naprosto ojedinělá je kolekce kožených a textilních tapet ze 17. a 18. století. Cenné vybavení doplňují nádherná kamna z barevně glazovaných reliéfních kachlů z let 1586 - 1587.