Shvoy Lajost szervezőtehetségét honorálva nevezte ki XI. Piusz pápa 1927. június 20-án székesfehérvári püspökké. Hívei szerették és tisztelték, amiért püspökként is plébánosi egyszerűséggel fordult feléjük. Ezért is döbbentett meg mindenkit az eset, amikor pontosan 80 évvel ezelőtt, 1945. február 8-án, elhurcolták a nyilasok, miután megtagadta nekik, hogy hálaadó istentiszteletet mutasson be.