Areál s dvěma barokními zámeckými budovami, sýpkou a parkem je dokladem skromnějšího venkovského feudálního sídla.
Hlavní budova zámeckého areálu vznikla přestavbou pozdně renesanční tvrze kolem roku 1719, co dokládá i letopočet na bočném průčelí stavby. Předchůdce renesanční tvrze na tomhle místě se připomíná již v roce 1500. Volně stojící jednopatrová zámecká budova obdélného půdorysu je prolomena barokními okny, která jsou výrazem pozdějšího rozčlenění interiéru. V areálu stojí administrativní stavění statku, patrně z doby přestavby hlavní budovy a sýpka. Zámek je obklopen menším přírodně-krajinářským parkem.
Objekt je v celkovém havarijním stavu. Je dlouhodobě uzavřen a nevyužíván. Střešní krytina zámku je silně degradovaná a lokálně zatéká, klempířské prvky jsou zkorodované a dosluhující. Fasáda je lokálně poškozena staršími zásahy z doby využívání objektu pro zemědělské účely (60. - 70. léta), významněji jsou narušené zejména podokapní římsy. Krovy jsou lokálně poškozené, avšak převážně funkční. Podlahy, omítky, štuky a výplně v interiéru jsou rovněž značně poškozené.
Renesanční zámek byl postaven koncem 16. století pány z Vlašimi pravděpodobně na místě starší gotické tvrze na terénní hraně nad říčkou Olešnou.
Původně renesanční zámek z konce 16. století byl upraven a rozšířen přestavbami v baroku a v 19. století.
Dnešní rozsáhlý renesanční zámek byl postaven na místě raně gotického hradu doloženého již roku 1289 v majetku pánů z Obřan.
Na návrší nad obcí se tyčí monumentální jednopatrová zámecká budova o čtyřech křídlech soustředěných kolem obdélného rozlehlého dvora.
Zámek v Ivanovicích na Hané vznikl v letech 1608–1611 přestavbou vodní tvrze z konce 15. století.
V parku situovaná ušlechtilá architektura trojkřídlého klasicistního zámku s raně barokním jádrem tvoří dominantu obce.