Летом 1480 года Ахмат в степях собрал сильное войско. Иван приказал ополчению собираться у Коломны. Но братья примиряться не желали. Иван опасался, что в самый опасный момент, когда Ахмат начнёт войну, братья со своими ратями ударят в спину. И основания для такого беспокойства были. Докладывали люди из ближнего окружения братьев, что к Ахмату выехали переговорщики. Вполне могло быть, что за помощь в войне с Иваном Ахмат даст ярлык на княжение Андрею, самому честолюбивому и завидующему из братьев. Уже когда Ахмат с войском был недалеко, братья прислали Ивану письмо: «Если исправишься и притеснять нас не будешь, а станешь держать нас как братьев, то придём к тебе на помощь».
Иван был вынужден пойти навстречу братьям, отписал Андрею Большому Можайск, и только в последний момент, когда противников разделяла только Угра, братья привели свои войска под руку Ивана.
Иван помощи был рад, любезен с братьями, но ничего не забыл. Пока был жив наследник Великого князя Иван Молодой, князь братьев не трогал, щадил. Но как только Иван Молодой умер, да ещё повод случился – в 1492 году Андрей отказался послать Ивану в помощь своё войско, Иван не сдержался, прямо в Кремле арестовал непокорного брата. Заключили его в тюрьму, а охраняли не простые воины, а князья служилые да бояре. Андрей так и умер «в железах» в узилище через два года. Тогда же двух сыновей Андрея арестовали в Угличе, перевезли в Переяславль, где держали «в великой истоме» много лет, до смерти.
Повод в 1492 году был серьёзен. В Большой Орде после смерти Ахмата большая замятня пошла. К власти рвались многие, отравления и удавка на шею были обычным делом. Орда развалилась на части. На союзника Ивана, Менгли-Гирея, ордынцы войной пошли. Верный союзническому договору, Иван стал собирать армию идти в Крым. Борис Волоцкий прислал полк, а Андрей отказался. Дело было ещё в мае, а когда Андрей в сентябре приехал в Москву, Иваном был принят ласково. На следующий день, пока бояре Андрея были в одной комнате, в другой, где был Иван, он был схвачен.
Весной 1480 года Ливонский орден получил от ханских послов Ахмата золото, и рыцари напали на псковские земли, и так пострадавшие от набегов братьев Андрея и Бориса.
В июне этого же года на правом берегу Оки, уже не скрываясь, шастали ордынские разъезды. На окской засечной черте воеводой был дальний родственник Ивана, князь Василий Верейский. А в Серпухове стоял с полком сын Ивана Иван Молодой.
Царь собрал боярскую думу для совета. Как всегда, судили-рядили долго. Дума во мнениях разделилась. Половина бояр отстаивала необходимость дать отпор татарам. Но группа сребролюбцев во главе с окольничими И. В. Ощерой и Г. А. Мамоном настоятельно советовали Ивану спасаться бегством в Белоозеро вместе с семьёй. Москва-де не раз была взята татарами, сожжена, но снова восстанавливалась, аки птица феникс из пепла. Иван от бегства отказался.
Прирождённый властолюбец и тиран считал, что его должны бояться и любить. Но кто будет бояться и любить, если он оставит столицу, сам убоявшись врага? Иван остался в Москве, но отправил в Белоозеро Софию с детьми, туда же отправилась государева казна.