В 1923г. в помещениях Измалковского имения была организована детская колония. Бывшие владельцы усадьбы и их постояльцы были выселены окончательно. Комаровских, оставшихся без крова, приютил в Сергиевом Посаде граф Ю.А.Олсуфьев, который после Февральской революции вместе с женой и сыном бежал из своего имения и по благословению своего духовника поселился в Сергиевом Посаде, купив двухэтажный дом вблизи Лавры на Валовой улице

Первый этаж Олсуфьевы отдали своим оказавшимся без крова родственникам Мансуровым (будущему о.Сергию и его жене Марии Федоровне и ее родителям), а сами поселились на втором этаже. Вскоре в этом же доме на втором этаже поселились и Комаровские с детьми. Самая светлая комната на втором этаже была отдана под мастерскую Владимира Алексеевича. В доме на Валовой ул., на вид неказистом, хранилось много ценных вещей: старинная мебель, коллекционное оружие, рисунки и картины известных художников, иконы, перед которыми всегда теплились лампады. В те годы в Сергиевом Посаде поселилось много людей из "бывших" — представители древних дворянских родов. Вблизи Лавры, кроме Олсуфьевых, Мансуровых и Комаровских, жили Шереметьевы, Раевские, Истомины, Верховцевы; по другую сторону железной дороги — Нарышкины, Арсеньевы, Трубецкие, Лопухины, Иловайские, Шики, Флоренские и многие другие. Вскоре после приезда в Сергиев Посад Ю.А.Олсуфьев вместе с о.Павлом Флоренским начал работать в Комиссии по охране памятников искусства и старины Свято-Троицкой Сергиевой лавры. В.А.Комаровский также включился в работу Комиссии. Владимир Алексеевич делал для художественного музея акварельные копии старинных миниатюр, тканей, вышивок — памятников древнего шитья XV века. Писал для архитектурного отдела музея виды Лавры. Продолжал писать иконы (по заказам знакомых). Много рисовал. Сделал ряд портретов маслом, в том числе портрет Ю.А.Олсуфьева и два портрета о.Павла Флоренского. Последние вызывали споры, но самому о.Павлу нравились своей правдивостью. О.Павел высоко ценил талант В.А.Комаровского. В одном из писем он писал о нем:
  "Это большой художник, с каждым шагом делающий шаг вперед". Сохранилось три портрета о.Павла, выполненных маслом. Эти работы находятся ныне в Музее Павла Флоренского в Сергиевом Посаде. В доме на Валовой, в котором жили Комаровские, в 1920–1928гг. тайно хранилась изъятая, по благословению Патриарха Тихона, глава прп.Сергия Радонежского. О.Павел Флоренский и граф Ю.А.Олсуфьев, незаметно, ночью, подменили ее, положив взамен голову одного из князей Трубецких из захоронений XVII века. Сами участники этих событий спустя десять лет были расстреляны, долгое время провели в лагерях, но ни один из них не нарушил обета молчания. Святыня была тайно возвращена во вновь открывшуюся Лавру 20.04.1946г. в Великую Субботу перед вечерней. Эти события оставались сокровенной тайной, только в конце 1990-х годов об этом заговорили в церковных кругах

В начале 1925г. В.А.Комаровский был снова арестован — в селе Карабаново, куда он ездил по каким-то хозяйственным делам

На защиту художника выступили архитектор Щусев, музейный отдел Главнауки, группа художников (Фаворский, Нерадовский — хранитель Русского музея в Ленинграде, Остроухов), скульптор Андреев, 28 крестьян Измалкова. Но ничего не помогло. На следствии Владимир Алексеевич заявил:
  "Монархия есть та форма государственного устройства, которая может
   соответствовать нравственному идеалу".
В.А.Комаровский был отправлен этапом в ссылку на Урал

Срок отбывал в Ишиме. Несмотря на препятствия, которые чинились властями, В.А.Комаровский как-то зарабатывал деньги тем, что писал портреты обывателей, делал вывески, красил крыши. Это было время расцвета НЭПа, и работа художника-оформителя пользовалась спросом. Он даже посылал домой небольшие посылки с продуктами и деньги жене, которая осталась с тремя детьми без средств. В тяжелых условиях ссылки продолжал писать картины темперой на фанере. Он написал ряд картин "в иконописном стиле" и несколько больших портретов, в том числе и портрет Ю.А.Олсуфьева, выполненный по памяти. Все эти работы впоследствии пропали. Был освобожден после окончания срока ссылки в 1928г.