Стены Ивановского монастыря, значительно меньшего по размерам, имели также четыре башни. Небольшая высота стен, еще меньшая, чем у Успенского монастыря, делала их плохо приспособленными для ведения боя. Из четырех башен две имели угловое, две - средистенное положение. Кроме башен, в линию монастырских стен входили также котельная палатка, кузница и воскобойная палатка. Надвратной церкви в Ивановском монастыре нет, и Святые ворота размещались под одной из башен.
Из четырех башен Ивановского монастыря сохранилась только одна, находящаяся на середине стены, обращенной к озеру. Это - Глухая башня, названная так потому, что она единственная из неугловых не имела проезда. Позднее она получила название Котельной. По характеру кирпичного декора она напоминает Свиточную, но более широка и приземиста. В середине ее нижнего яруса расположен столб, на который опираются перекрывающие этот ярус своды. В нижнем ярусе помешалась воскобойная - здесь били воск и делали свечи. С юго-востока к башне примыкает одноэтажное здание. Это - воскобойная палатка, где жили "старцы, которым приказано воскобойное дело".
От остальных башен Ивановского монастыря сохранилась только часть Святых ворот с двумя заложенными проемами. Филенки, украшающие ворота, напоминают обработку нижнего яруса церкви Преображения.
В 1610 году, во время возникшей угрозы польско-литовского нашествия, стены Ивановского монастыря надстроили. Настил ходовой части стен сделали деревянным, по выпущенным из кладки бревнам. В следующем году начали сооружение нового укрепления - Острога. Острог представлял собой небольшую крепость, включавшую в себя две башни, каменные или деревянные стены. В плане он образовывал треугольник, далеко выступавший от линии старых монастырских стен в сторону вологодской дороги. После постройки во второй половине XVII столетия новых монастырских стен острог потерял свое оборонительное значение. Его стены и башни уже больше не поддерживались, и к началу XIX века остались еле заметные руины, которые сейчас полностью скрыты землей.
Около 1630 года, после отражения натиска литовских отрядов, стены Успенского и Ивановского монастырей нарастили еще раз. Стена, идущая от Свиточной башни вдоль озера по направлению к северо-востоку, в 1633 году обрушилась, и сначала ее заменили деревянным тыном. Потом на его месте выстроили более высокую каменную стену совершено иного устройства. В разное время переложены отдельные участки стен и в других местах. Поставленные на низком болотистом месте на ненадежных грунтах, стены под весом утяжелившей их надстройки стали наклоняться, поэтому они были подперты большим количеством каменных контрфорсов. Все эти переделки очень сильно исказили первоначальный облик монастырской ограды. Лучше всего сохранился участок старой стены от Свиточной башни в сторону церкви Преображения.
В XVII веке кроме четырех угловых башен и двух надвратных церквей в линию стен Успенского монастыря включили еще два сооружения - небольшую Хлебенную и Поваренную башни (названные так потому, что первая была расположена около хлебни, а вторая около поварни). Хлебенная башня сохранилась до наших дней, а Поваренную всю заново переложили от основания в 1761 году.