Hat harangja és kivilágított toronyórája volt már a Felsővárosi templomnak a századelőn

A városrész polgárai a templom bővítésének érdekében folyamatosan kulcsoltak a városvezetésnél és a püspökségnél. Gyűjtést is szerveztek a templom megnagyobbítására 1800-ban és szép számmal adakoztak a városrész lakói. Az épületet aztán 1801 és 1807 között építették szép nagy templommá. A két torony építése 1836-ban történt, Fridl Károly rajzmester tervei alapján.

Érdekesség, hogy az építkezés idejére még a téglaégetőt is a templom rendelkezésére bocsátotta a város.

A felsővárosi gazdák 1807-ben ajánlották fel, hogy a Szent Sebestyén templom melletti romos iskolát megveszik lebontják a tűzveszély miatt. Az élelmes hívők a bontási anyagot elárverezték és 1070 forintért eladták, majd ezt a templom javára felajánlották. A templom előtti utat pedig 1809-ben lekövezték, melyhez a Belvárosi plébánia is hozzájárult.

A két torony építése 1836-ban történt, Fridl Károly rajzmester tervei alapján. A köveket a Csúcsos-hegyi kőbányából hordták, az építkezést pedig Vass János tanácsos vezette. Az építés azonban nem úgy sikerült ahogyan azt elképzelték, ugyanis a templomtornyok 1840-ben megrepedeztek. Ezt a tényt 1849-ben Szász Ferenc építőmester szakértői véleményben közölte a tanácsüléssel: a Szent Sebestyén templom tornyait meg kell erősíteni, az azt építő Langmár Mihály kőműves mester úrnak. Ezeket azonban a tanács javíttatta meg és a költségeket behajtatta a kőművesen.

A templom első toronyóráját Németh Ignác órásmester hat évi jótállással ezer forintért készítette, amit szintén adományokból fizettek ki. A templomban egészen 1885-ig tartottak német nyelvű istentiszteletet, ugyanis ebben az esztendőben a megyéspüspök határozatban szüntette meg a felsővárosi plébánián és a ciszterciták templomában a német nyelvű liturgiát és intézkedett a magyar nyelvű istentisztelet meghonosításáról.

A felsővárosi templomnak 1917 előtt még hat harangja volt, amik ekkor vándorútra keltek és beolvasztották őket ágyúnak és harang újra csak 1927-ben lett. Az akkori újság beszámolója szerint április 14-én „megkondult a felsővárosi Szent Imre harang. A 951 kg-os harangot kifeszített kötél őrzi. Ez a harang Walser Ferenc budapesti cégének harmadszori öntése”

A templomban már a harmincas évek elején volt villanyáram és kivilágítottak voltak a toronyórák, azonban a város nem fizette a villany költségeit így azt kikapcsolták: „Székesfehérvár Szabad Királyi Város Közüzeme a felsővárosi templom toronyórái kivilágítására szolgáló 6 darab 60 wattos átalányégőt kikapcsolta és végleg beszüntette világításukat." - írták akkoriban.

A templom a II. világháborúban megsérült, egyik tornyát el is vesztette és csak 1960-ra épültek fel teljesen a tornyok a hívek adományából, és ekkor restaurálták a Szent Sebestyén szobrot is.