Die Kirche und der Franziskaner Kloster in neobarockem Stil, wurde nach Anregung József Pehms, besser bekannt als Erzbischof József Mindszenty, erbaut, auf dem Platz der Reitschule, die zu der ehemaligen Husarenkaserne gehörte. Beim Bau wurde die Kirche - als einzige solche – dem Gedenken an Karl IV gewidmet, an der Einweihung nahm auch die Witwe des Königs, Zita persönlich teil.
Der Staat entzog im Sommer 1950 dem Franziskanerorden, so auch den Franziskanern in Zalaegerszeg die Betriebsgenehmigung. Der Orden hat den Kloster 1990 zurückbekommen, an der feierlichen Rückgabezeremonie nahm auch der Sohn des - inzwischen selig gesprochenen Karls IV – teil. An die königliche Familie wird man mit einem Gemälde an einer der Kirchenwände erinnert.