Objekt, v němž je umístěna většina expozic muzea, byl po dvě století užíván jako jezuitský seminář. Založila ho manželka Adama II. z Hradce, Kateřina z Montfortu,
a svou vlastní budovu získal na samém počátku 17. století. Původní dvoukřídlá stavba ve tvaru písmene L, umístěná při jižní straně Nežárecké brány naproti jezuitské koleji, však již v roce 1615 vyhořela, a proto byla o deset let později zahájena výstavba nové budovy na čtvercovém půdorysu se středním arkádovým dvorem. Dostavěním seminární kaple sv. Víta v roce 1642 získal tento pozdně renesanční objekt svou dnešní podobu. Svému účelu sloužil až do zrušení jezuitského řádu, ale i později byl využíván pro vzdělávání, nejprve jako budova školy, kterou zde navštěvoval i mladičký Bedřich Smetana bydlící v sousedství, od šedesátých let 19. století v něm pak až do roku 1923 sídlilo jindřichohradecké gymnázium. Uprázdněný objekt o dva roky později koupilo město Jindřichův Hradec a upravilo ho pro muzeum, jehož nové výstavní prostory byly veřejnosti poprvé zpřístupněny v květnu 1928.