Épült a 18. században, többször átépítették, a historizáló stílusú épület jelenleg panzió.
A kastély tulajdonosának, Kiss Lajosnak a lányát, Zsófiát dr. Markusovszky Lajos orvos, a XIX. századi magyar egészségügy kiemelkedő alakja vette feleségül. Markusovszky 1848 tavaszán beállt a honvédseregbe, ahol őrnagyi rangban a Vas vármegyei hadsereg fősebésze, kórházi főorvosa lett. A kiegyezés után Markusovszky megszervezte az orvosképzés új formáját, ő lett a vallás- és közoktatásügyi minisztériumban az ezzel kapcsolatos ügyek irányítója. 1890-ben Markusovszkyt az MTA tagjává választották, 1893-ban pedig tiszteletbeli egyetemi tanárrá nevezték ki. Az orvost 1893-ban bekövetkezett halála után - végakaratának megfelelően - Vasegerszegen temették el.