13 сентября 1927г. назначен митрополитом Одесским. 28 сентября 1927г. направил митрополиту Сергию письмо, в котором высказал суждение о том, что считает сделанное им распоряжение о его перемещении на Одесскую кафедру незаконным. 25 октября 1927г. митрополит Сергий и Временный при нем Патриарший Священный Синод вынесли новое определение о перемещении митрополита Иосифа на Одесскую кафедру. 30 октября 1927г. повторно отказался от назначения на Одесскую кафедру. 26 декабря 1927г. епископ Гдовский Димитрий (Любимов) и епископ Нарвский Сергий (Дружинин) подписали акт отхода от митрополита Сергия (Страгородского), одобренный митрополитом Иосифом. 2 февраля 1928г. митрополита Иосифа посетили посланные к нему митрополитом Сергием архиепископ Вологодский Сильвестр (Братановский) и архиепископ Самарский Анатолий (Грисюк). Митрополит Иосиф сделал заявление об отделении от митрополита Сергия. 6 февраля 1928г. вместе с группой архиереев Ярославской епархии подписывал декларацию об отделении от митрополита Сергия и учрежденного при нем Временного Патриаршего Священного Синода. Возглавил оппозицию митрополиту Сергию, получившую название "иосифлянской". 11 марта 1928г. Заместителем Патриаршего Местоблюстителя митрополитом Сергием (Страгородским) и Временным при нем Патриаршим Священным Синодом уволен на покой с запрещением в священнослужении