Конница противоборствующих сторон столкнулась, сеча началась страшная. Со стен города за боем смотрели пешцы и городское ополчение, за русскими смотрели и поддерживали наши пешцы, пушкари, обозники.
Фёдор ситуацию с уязвимостью смолян просёк. Скомандовал стрельцам:
– Заряжай!
Когда все исполнили команду, повёл их за собой, забирая левее, обходя дерущихся. Он полагал подобраться поближе к открытым воротам города. Повезёт – захватить, в худшем случае нанести защитникам значительный урон, когда смоляне будут возвращаться. В победе русских Фёдор не сомневался, слишком велик перевес. Но полк его добраться до ворот не успел. Смоляне, неся большие потери, стали пятиться, а потом вовсе побежали. Фёдор приказал остановиться, строиться в шеренги, а стрелять команды не дал, слишком далеко, шагов четыреста-пятьсот. На такой дистанции пули теряют убойную силу, и стрелять – попусту жечь порох.
За смолянами неслись русские, задумав ворваться в город на плечах отступающего противника. Но горожане, впустив большую часть своей конницы, ворота заперли. Тех всадников, что не успели укрыться за стенами, русские добили или взяли в плен. Со стен городских стали стрелять из луков, палить из малых пушек и пищалей. Русские во избежание потерь отошли от города на безопасное расстояние. В войске Василия радостное возбуждение, смолянам нанесён серьёзный ущерб в людях. Воевода Даниил Щеня послал к Великому князю гонца, и через несколько дней Василий сам прибыл к Смоленску. К сожалению, дальнейшая осада успеха не принесла. Горожане заделывали пробоины в стенах, а воевода смоленский Глебович вылазок больше не предпринимал.
Опустошив окрестности города, войско Василия сняло осаду и в начале ноября возвратилось в Москву. Царь был вне себя от злости. Ни отец, ни он не могли покорить Смоленск. Василий ушёл вовремя. Сигизмунд за четыре недели осады Смоленска успел собрать 30-тысячную рать и готовился идти к Смоленску. А ещё с наступлением осени «подоспели дни студёные, а корму конского скудно было», как писал монах, автор «Повести о Смоленском взятии».
И Сигизмунд, и Василий понимали, что уход русских войск – это только передышка. Напряжение между Литвой и Москвой нарастало. Мелкие стычки на границе, слухи о насильственной смерти в Литве вдовствующей великой княгини, сестры Василия, Елены Ивановны и отказ Москвы выдать Литве князя Михаила Глинского, устроившего в 1507–1508 годах мятеж, а также заключение Литвой союза с Крымом против Москвы разрядке не способствовали. Кроме того, Великий князь считал Смоленск своей вотчиной, поскольку смоленский князь Юрий Святославич после захвата его града и земель бежал в Москву и принял над собой руку Великого князя и крест на том целовал.
Сигизмунд поход Василия ожидал, но не так скоро. Он успел снабдить гарнизон порохом в достаточном количестве и пищалями. Кроме того, заменил воеводу, им стал Юрий Сологуб.
В феврале 1514 года Великий князь решился на новый поход на Смоленск. Через Михаила Глинского из немецких земель были приглашены несколько наёмников, в том числе опытные пушкари во главе со Стефаном. Чтобы обезопасить себя от вероятного нападения крымчаков, заранее отправили полки в Рязань, Серпухов и на Угру. А ещё пять полков отправили в Тулу. Не случись нападения, они могли быстро быть переброшены под Смоленск. Так же были приняты меры обезопасить русское войско от удара с запада ратью Сигизмунда. Новгородским наместникам Василию Шуйскому и Ивану Морозову приказали идти 7 июня на Оршу.