A neobarokk stílusú templom és ferences rendház Pehm József, ismertebb nevén Mindszenty bíboros kezdeményezésére épült, az egykori huszárlaktanyához tartozó lovarda helyén. Építésekor a templomot – egyedüliként – IV. Károly emlékének ajánlották, felszentelésén a király özvegye, Zita királyné személyesen is részt vett.
Az állam 1950 nyarán a ferencesrendektől, így a zalaegerszegi ferencesektől is, megvonta a működési engedélyt. A rendtartomány 1990-ben kapta vissza a kolostort, melynek ünnepélyes átadásán dr. Habsburg Ottó – az időközben boldoggá avatott IV. Károly fia – is részt vett. A királyi család emlékét a templom egyik falán festmény őrzi.