Herzog Albrecht V. ließ 1555 für sein Hofpersonal ein Spital einrichten, das Herzogspital genannt wurde. Die Planungen Heinrich Schöttels sahen bereits eine Kirche in der Mitte des Herzogspitals vor, die das Patrozinium "St. Elisabeth" erhielt.
1727 wurde der barocke Neubau nach Plänen von Johann Baptist Gunetzrhainer eingeweiht. Vor allem im 19. Jahrhundert wurde dem Gnadenbild der Schmerzhaften Madonna eine wundertätige Wirkung nachgesagt, so dass es hier bis ins 20. Jahrhundert hinein Wallfahrten, Bußgänge und Dankgottesdienste durchgeführt bzw. gefeiert wurden.
Im Zweiten Weltkrieg schwer beschädigt, wurde das Herzogspital abgetragen und durch einen Neubau ersetzt. Der Turm wurde saniert, das Kirchenschiff durch einen Neubau nach Plänen von Alexander Freiherr von Branca 1956/57 ersetzt, der sich durch einen völlig in Backstein gehaltenen Innenraum auszeichnet.