Первоначально кладбище старообрядцев-поповцев, живших в Петербурге со времени основания города, находилось на Волковом поле, но когда при Павле I оно перешло к единоверцам, Ф.Г. Громов в 1825 г. подарил городской общине землю в другом месте, где девять лет спустя возникло новое кладбище с богадельней и моленной в деревянном доме. В 1835 г. «по прошению попечителей старообрядческого общества здешних купцов Сергея Громова и Никиты Дрябина» городские власти официально отвели для кладбища 11 854 кв. сажени земли. История старообрядческого духовного центра на Громовском кладбище начинается с 1844 г., когда была закрыта старообрядческая моленная в доме Королева на Ивановской улице. Вскоре после этого руководители общины обратились с ходатайством об открытии нового молитвенного дома на Громовском кладбище как единственном месте, где они уже имеют некоторую оседлость, и о перенесении в новую моленную святых икон, книг и церковной утвари (на кладбище к этому времени имелся только деревянный дом сторожа). Ходатайство рассматривал чиновник особых поручений при Министерстве внутренних дел И.П. Липранди, известный гонитель раскола. Как ни странно, в этом случае он поддержал староверов и советовал своему ведомству отнестись к просьбе поповцев с «гуманностью и терпимостью», и центр петербургского поповства переместился на Громовское кладбище, где вскоре построили деревянный дом со службами. С появлением в 1862 г. «окружного послания», которое разделило поповцев на окружников и неокружников, кладбище отошло к первым, которых было большинство. В 1862 г. кладбище расширили. Улица, отделявшая Громовское кладбище от разросшейся территории соседнего Митрофаньевского кладбища, получила название Старообрядческой (в советское время эта улица была переименована в Ташкентскую: в 2008 г. ей вернули историческое название). В 1867 г. архитектор К.К. Циглер построил при кладбище еще один дом. Теперь уже в двух домах помещались квартиры священников, главным образом выходцев из села Гуслицы, певчих, мужская и женская богадельни, общая столовая, пекарня, панихидная и даже гостиница для приезжих. В 1878 г. небольшая церковь с главкой была расширена двумя приделами, а в 1906 г. украшена звонницей. 19 февраля 1907 г. при ней была учреждена старообрядческая община, решившая выстроить новый храм.

Главными жертвователями кладбища стали Егор Никитич Дрябин (1807–1874) и Петр Иванович Чубыкин (1820–1882), который завещал четверть миллиона рублей на постройку при кладбище богадельни. Участок для нее приобрели в 1892 г. на Забалканском проспекте, 108, у Московских ворот, и в 1896–1899 гг. по проекту К.К. Циглера здесь была построена богадельня на семьдесят человек. В ноябре 1899 г. старообрядческий епископ Виталий освятил в ней домовый храм Св. Петра митрополита, в котором служил причт Громовского кладбища. Громовское кладбище являлось резиденцией епископа и центром Петербургской и Тверской епархии белокриницкого согласия.

В начале ХХ в. епископом некоторое время был владыка Михаил (в миру Павел Семенов), участник религиозно-философских собраний у Мережковских. При кладбище размещалось благотворительное епархиальное братство, старообрядческая библиотека имени епископа Виталия, начальная школа и школа певчих. Громовскую общину в начале ХХ в. возглавляли П.А. Голубин, владелец магазина готового платья, и торговцы клеенкой Ф.П. Федоров и В.Ф. Наумов.