Будучи в ссылке, работал чернорабочим в Облстройконторе, а в свободное от работы время помогал в Петропавловском соборе за богослужением, исполняя обязанности уставщика и чтеца. Жил у престарелых супругов, вел их хозяйство. 20 августа 1954г. в спецкомендатуре МГБ г.Петропавловска Павлу Груздеву было объявлено о снятии с него всех ограничений. После этого он возвратился в Тутаев

В Тутаеве он устроился рабочим в Горкомстройконторе, занимался строительством дорог, благоустройством парков и скверов. В свободное от работы время служил чтецом, пел на клиросе и пономарил в Воскресенском соборе. Здесь он встретился с Преосвященнейшим Исаией, епископом Угличским, управляющим Ярославской епархией. 25 апреля 1955г. Павел Груздев направил епископу Исаие просьбу о рукоположении его в священный сан. Однако рукоположение стало возможным только после его реабилитации в 1958г.