Bukůvkové postavili v letech 1679 až 1705 v Žádlovicích zámek, který byl novými majiteli z hraběcího rodu Mitrovských po roce 1764 přestavěn v podstatě do dnešní podoby; u zámku byla zřízena botanická zahrada a později i park. V první polovině 18. století tu byla koželužna, potom i pivovar a palírna.
Po roce 1848 se v nové správní struktuře osudy vsi a zdejšího zámeckého areálu na dlouhou dobu rozdvojily, i když v obou případech se tak stalo v rámci soudního okresu Mohelnice a politického okresu Zábřeh. Žádlovický zámek a velkostatek koupil v roce 1891 hraběcí rod Dubských z Třebomyslic, který pak vlastnil tento majetek až do roku 1945. Za první pozemkové reformy bylo totiž z celkové rozlohy 1654 hektarů rozparcelováno jenom 158 hektarů a vše ostatní bylo ponecháno dosavadním vlastníkům; již před 1. světovou válkou však zanikl pivovar, palírna a také cihelna, zato tu však byla zřízena pila.

Po roce 1918 se sice obě části Žádlovic spojily, ale rozdíly se ve skutečnosti prohloubily. Ve vesnici se většina občanů hlásila k české národnosti a volila dokonce sociální demokraty, kdežto majitelé zámku a velkostatku se přes české jméno hlásili aktivně k Německu; po mnichovské dohodě si právě oni vymohli, že zámek s bezprostředním okolím byl dodatečně začleněn do Sudet.

Po konfiskaci majetku Dubských v roce 1945 byl žádlovický zámek vy-žíván pro různé účely, v nejednom směru však i s cenným parkem chátral, až zde po roce 1961 našlo sídlo zemědělské odborné učiliště Loštice.

Žádlovický zámek představuje významnou historickou a architektonickou barokní památku z konce 17. století, která byla přestavěna kolem roku 1772 a znovu koncem 19. století. Je to jednopatrová budova s mansardovou střechou, středním a dvěma bočními křídly. K zámku patří i kaple z konce 18. století, dva zahradní domky z poloviny 18. století a anglický park; budova zámku byla posledně rekonstruována v letech 1975 až 1980. Část mobiliáře byla převezena do zámku ve Velkých Losinách. Na žádlovickém zámku často pobývala spisovatelka Marie Ebnerová-Eschenbachová, rozená Dubská (1830 až 1916).