Der Gebäudekomplex, in dem die meisten musealen Sammlungen untergebracht sind, wurde über zwei Jahrhundert lang als Jesuitenseminar genutzt. Das Jesuitenseminar wurde von der Gattin von Adam II. von Neuhaus, Katharina von Monfort, gestiftet. Anfang des 17. Jh. bekam das Jesuitenseminar ein eigenes Gebäude. Der ursprüngliche zweiflügelige Bau in Form eines “L”, der auf der Südseite des Nasertors platziert war, brannte jedoch bereits im Jahre 1615 nieder. Daher wurde zehn Jahre später auf einem Grundstück mit quadratischem Grundriss ein neues Gebäude mit einem Arkadenhof in der Mitte errichtet. Seine heutige Gestalt nahm dieses Renaissancegebäude nach der Fertigstellung der St. Veits Kapelle im Jahre 1642 an. Bis zur Auflösung des Jesuitenordens diente es seinem Zweck und auch später wurde es zu Bildungszwecken genutzt, zuerst als Schule, die hier auch von jungem Bedřich Smetana besucht wurde, der in der Nachbarschaft wohnte. Seit den sechziger Jahren des 19. Jh. bis 1923 hatte hier das Neuhauser Gymnasium seinen Sitz. Das leerstehende Gebäude wurde zwei Jahre später von der Stadt Jindřichův Hradec erworben und zum Museum umgebaut. Die neuen Ausstellungsräume des Museums wurden für die Öffentlichkeit das erste Mal im Mai 1928 zugänglich gemacht.