В 1881г. его тетка Серафима Александровна увезла Ваню — пятилетнего мальчика в Нижний Новгород, где поселилась с ним в квартире старшего брата — священника Алексея Александровича Порфирьева — кандидата богословия, преподавателя Нижегородской Духовной Семинарии. По воскресным и праздничным дням Ваня Лазарев с радостью и детским усердием прислуживал своему дяде в Никольской церкви, а затем в древнем кремлевском храме в честь Архангела Михаила

Когда Серафима Александровна вышла замуж за чиновника Петра Афанасьевича Никольского, то мальчик с братом и сестрой стали воспитываться в новой семье