Az épület helyén 1617-ben a telekkönyv szerint három ház állt, és 1666-ban Széchényi György győri püspök vásárolta meg, ahol idős győri polgárok menhelyét, ispotályát szervezték meg. Széchényi 1673-ban az ispita vezetését a székeskáptalanra bízta. Végrendeletében pedig 5000 forinttal növelte az ispita alaptőkéjét, mely lehetővé tette, hogy a 17. század végén már 30 elaggott győri polgárról tudott gondoskodni.

A 18. század első harmadában az épületet további házakkal bővítették. 1724-ben összeépítették az eredetileg két különálló, földszintes reneszánsz épületet és bővítették emeleti traktussal, összekötő folyosókkal, valamint toszkán oszlopos, loggiás belső udvarokkal. A Szent Miksa (Rákóczi) és a Szent Sebestyén (Teleki) utcák sarkán álló Jordán-féle szállásházat lebontották, és az 1730-as években ennek telkén épült az ispita Szent Annáról elnevezett temploma. A 19. században a templom egyik mellékoltárát leszerelték, a főoltárképet kicserélték. Csak a Szent Erzsébet-oltárt hagyták meg. A betegeket és véneket gyámolító Árpád-házi Szent Erzsébetet ábrázoló oltárkép a győri Schaller István műve. A templom változatlan formában áll, csupán a nyugati homlokzatán volt két körablakot nagyobbították meg eggyé az 1876-os tatarozás folyamán.

Váczy Péter (1904–1994) művészettörténeti jelentőségű képző- és iparművészeti gyűjteménye közvetlenül a történész halála után, az örökösöknek járó életjáradék fejében került a városhoz, a belőle rendezett állandó kiállítás 1995-ben nyílt meg az Ispita-házban, melynek árkádos udvarán 1963-ban állították fel Borsos Miklós Phőnix címet viselő díszkútját.

Az épület átmenetileg zárva tart, mivel az Interreg VI-A Magyarország-Szlovákia Program HUSK-2302 program „smARTacross – Szlovák-magyar együttműködés a helyi művészeti és kulturális örökség megőrzése céljából” projekt keretében felújításra kerül a Magyar Ispita kiállítóhelye.