Dvorec je bil prvič pisno omenjen leta 1444 (kot Hof zu Grecz, leta 1448 pa kot stolp (Grecz Turn)), ko sta ga Celjska grofa in kneza Ulrik in Friderik podarila Janezu Meusereitherju, kanclerju celjskih gospodov in ustanovitelju »špitala« v Laškem. Zatem je bil dvorec podarjen jurklošterskim kartuzijanom, ki so ga imeli v lasti vse do prodaje leta 1578. Nato je dvorec prehajal iz rok v roke in menjal ogromno lastnikov.

Med drugim je med leti 1843 – 1846 služil kot bolnišnica za delavce, ki so za časa Marije Terezije tu mimo gradili železnico. V bolnišnici pa je zdravil prvi laški zdravnik Urban Žnideršič.

Leta 1846 je tedanji lastnik graščine na desnem bregu potoka Lahomnice imel cementarno z znamko Roman, ki se je rabil za podvodno gradnjo, višje ob potoku v kraju Lahomno pa cementarno z znamko Portland. Zanimivost tega cementa je bila, da so ga pakirali po 200 kg v lesene zaboje. Zaradi razvoja cementarn je potekala skozi dolino Lahomnice tudi železnica. Same cementarne so imele 4 peči in so zaposlovale okoli 40 ljudi. Vse do leta 1928, ko so cementarni zaprli zaradi pomanjkanja surovin in prevelike konkurence.

Zadnji predvojni lastnik je bil odvetnik dr. Ivan Jacobi, po drugi svetovni vojni pa sta ga kupila brata Kopač, ki ste imela tu delavnice lesne stroke in sta delala predvsem razna igrala in pohištvo. Njuni dediči pa so ga leta 1993 prodali družini Čater, ki je dvorec adaptirala in v njem uredila gostišče.

Kot zanimivost je vredno omeniti, da je dvorec s podzemnim tunelom povezan s cerkvico Marije Karmeljske. Po ustnem izročilu naj bi v srednjem veku bila skozi dvorec speljana cesta, dvorec pa naj bi tedanjim oblastnikom služil kot mitnica za pobiranje davkov.