Hlavní stavební památkou města je zdejší empírový trojkřídlý zámek umístěný v přírodně krajinářském parku na mírném návrší. Objekt zámku byl vystavěn po roce 1669 Michalem Adolfem hrabětem z Althanu, ale nestejně dlouhá boční křídla svědčí o jeho historicky složitějším vývoji. Vzhledem k okrouhlému vymezení zámeckého areálu a jeho blízké vazbě na zdejší kostel lze usuzovat, že stojí na místě původní tvrze. Východní část, která měla roku 1710 arkádový Ochoz, je možné považovat za dílo dalších majitelů Čertorekských z Čertorej. Dlouhé jižní křídlo stojí na šikmém soklu a výškový rozdíl mezi nástupem a přízemní halou vyrovnává schodiště v předloženém přístavku. Zámecké místnosti v přízemí jsou klenuté, patro má strop plochý a fasády zámku získaly svůj strohý vzhled při klasicistních úpravách po roce 1804. Po válce obsadila zámek armáda, kde sídlila rota pohraniční stráže. Ta sice zámek později opustila, ale zanechala jej ve stavu, který v současné době vyžaduje kompletní rekonstrukci. V dnešní době je vlastníkem zámku město, které shání finanční prostředky na jeho postupnou revitalizaci. Proto je nyní zámek delší dobu nepřístupný. Pod zámkem se nachází starobylý vinný sklep a na severním svahu zámeckého kopce byla objevena stanice lovců mamutů ze starší doby kamenné.

Turistická mapa KČT 1:50 000 č.82 Střední Podyjí/B5