После закрытия Оптиной большинство ее насельников, в том числе и о.Рафаил, поселились в Козельске, где старались служить, где было только возможно. Это продолжалось до 1928 года. Братии делалось все меньше. Одни уезжали, других арестовывали

С февраля 1930г. иеродиаконом не служил по состоянию здоровья, жил на средства от продажи вещей, на помощь своего брата (в 1930г. у него было три брата) и монашеского братства. Проживал вместе с иеромонахом Макарием (Чиликиным). Обращался к Оберучевой Александре Дмитриевне как к врачу. В 1930г. были арестованы все оставшиеся в Козельске монахи Оптиной Пустыни, в том числе о.Рафаил