Здание неоднократно переделывалось в позднее время. Едва ли не каждый новый настоятель стремился хоть как-то обновить доставшуюся ему от предшественника резиденцию. Варварская перестройка произошла в 1821 году. Тогда сломали все своды, на новом уровне уложили междуэтажное перекрытие, уничтожили промежуточный этаж дворовой части, сломали остававшееся к тому времени крыльцо. Все окна растесали, особенно пострадали проемы верхнего этажа. От их наличников сейчас сохранились лишь незначительные следы. Главный фасад украсил четырехколонный портик с аттиком над ним, его детали отличались грубым исполнением. Здание приобрело черты заурядного провинциального ампира. К настоящему времени заканчивается реставрация памятника. В основном удалось вернуть ему прежнюю внутреннюю структуру, главный же фасад оставлен в стиле провинциального ампира.
Очень сложную строительную историю и сложную планировку имеет здание так называемых Монашеских келий, протянувшееся вдоль стены Ивановского монастыря слева по входу от Святых ворот. В его создании можно выделить четыре основных этапа. Раньше всего выстроили из кирпича небольшую Писчую келью, расположенную примерно в середине этого очень протяженного здания. Здесь велось монастырское делопроизводство. Это небольшая сводчатая палата с одним окном и с коридором-проходом сбоку, ведущим в более обширное засенье. На фасаде этой палаты под поздней штукатуркой обнаружили следы наличника очень сложной формы, завершенного тремя остроконечными выступами. В монастыре наличников такой формы больше нет, но есть они в одном из корпусов Вологодского Архиерейского дома. Можно предположить, что Писчую келью строили вологодские каменщики. Вверху над кельей и проходом была каменная палата без сводов с окнами, обрамленными прямоугольной рамкой изразцов, перевитых лентами синего и зеленого цвета. Цветные изразцы впервые применены в украшении Московской башни в середине 1660-х годов, и вероятно, что примерно к тому же времени можно отнести и Писчую келью. В этом случае нетрудно объяснить обращение к вологодским строителям, поскольку именно в это время все кирилловские каменщики занимались возведением стен и башен Нового Города.
На втором этапе строительных работ выстроили одноэтажные каменные кельи между Писчей кельей и Святыми воротами. Они состоят из двух "секций", каждая из которых имела входные сени и две кельи по сторонам, только около Святых ворот сбоку было добавлено дополнительное помещение. Засенья не распространялись вдоль всего здания, располагаясь только позади самих сеней. Они вели в длинный узкий коридор, протянувшийся сплошной лентой, но с разрывом между "секциями". Таким образом, за кельями выгородили небольшие внутренние дворики, куда с трех сторон выходили окна келий, засений и коридора, и откуда через отверстия-затопы топили стоявшие в кельях печи. В стене между сенями и засеньями на этом раннем этапе начали выкладывать ведущие наверх внутристенные лестницы, расположенные идентично лестницам Настоятельского корпуса. За коридором сплошной цепочкой протянулись небольшие кладовки-дровяники и отхожие места, отдельные для каждой кельи. Окна и двери в этих кельях имели заложенные в кладку при строительстве деревянные колоды. На главном фасаде широкие откосы окон обвели наличниками в виде полуколонок, переходящих вверху в килевидную арку. Такой тип наличника вообще очень редок, и в других зданиях монастыря его нет.