A kastélyt Batthyány Lajos gróf, Magyarország utolsó nemzeti nádora építtette 1754-1755-ben. 1770 körül bővítették Batthyány József érsek kezdeményezésére, az ő nevéhez fűződik a kastélyhoz tartozó házi kápolna kialakítása is. A kastély Hild József tervei szerint készült. Batthyány Tivadar, a király személye körüli miniszter átalakíttatta 1796 és 1799 között késő barokk és koraklasszicista stílusban. Az épület U-alakú, kétemeletes, 64 helyiségből álló kastély.

A kastély dísztermében intézménytörténeti kiállítás tekinthető meg. Itt az árvaház idejéből származó képek, dokumentumok, oktatástörténeti érdekességek láthatóak. Itt őrzik Erzsébet királyné és Ferenc József ezüst lúdtollát és kristály tintatartóját.

A kastély nyugati szárnyában Batthyány emlékkiállítás kapott helyet. A Batthyány-relikviák között találjuk Batthyány Lajos székét és bölcsőjét. Gróf Batthyány Gyula számos festménye látható itt.

A kastélypark az ország egyik első angolkertje volt, melyben hidakat, grottát, és a kor új igényei szerint holland házikót és üvegházat is emeltek. A 11 hektáros, nemes szépségű kastélypark kiemelkedő történeti, művészeti, kulturális értékénél fogva védett műemlék.

Jelenleg a magyar állam tulajdona a Kossuth Zsuzsa Gyermekotthon működik a kastélyban.