A múzeum névadója a mecénások mecénása: Semsey Andor (1833-1923), aki bőkezű támogatója volt a kultúrának és a tudománynak. Az 1860-as években az ő adományából építették fel a pesti állatkert madárházát, majd az 1890-es években az Országos Földtani Intézet épületét.
2014. augusztus 15-től a Tourinform irodának is helyet ad az épület, illetve egy rendezvényterem és egy képtár is található a kastélyon belül, melyek kulturális események, előadások, időszaki kiállítások kedvelt helyszíne is egyben.