В начале июня во главе малой рати к Смоленским посадам подошло войско Даниила Щени. Пока ратники возводили туры и рогатки, Михаил Глинский начал вести тайные переговоры со знатными смоленскими людьми, склоняя их к сдаче города.
Сам Василий с братьями Юрием и Семёном выступил с большим войском из Москвы 8 июля. Войско было велико, до восьмидесяти тысяч. В их основе было две тысячи служилых татар и огромный обоз с «пушками великими». В середине июля войско подошло к Смоленску, окружило город плотным кольцом, чтобы мышь не проскочила, не то что посыльный к Сигизмунду. Василий распорядился поставить шатры для себя и приближённых в виду города, чтобы самому наблюдать за осадой и штурмом.
После возведения укрепления 29 июля начался обстрел города из осадных орудий, в чём немало преуспел Стефан. Наёмник-пушкарь точно клал в цель одно ядро за другим. Стены города представляли тогда дубовые срубы, на манер избы сложенные, внутрь засыпалась и утрамбовывалась земля, а снаружи дубовые брёвна обмазывали толстым слоем глины от поджогов. Но ядра из «великих» пушек крушили прочный сруб. Пушки стреляли с утра до вечера. «…заколебалась земля и друг друга не видели, ибо весь град в пламени и дыму вздымался. И страх великий напал на горожан, и начали из града кричать, чтобы Великий государь пожаловал, меч свой унял, а бою велел перестать, и они хотят государю бить челом и град сдать».
Сто сорок пушек сделали своё дело, над воротной башней выбросили белый флаг. Смоленский наместник Юрий Сологуб и местный епископ Варсонофий пришли в шатёр Великого князя просить о перемирии. Василий Иванович потребовал сдать город. Сологуб просил дать один день на размышления и переговоры с князьями смоленскими и боярами. Василий Иванович отказал, и на следующий день пушечный обстрел продолжился. Простой люд собрался на площади и стал требовать сдачи города на милость московского князя. Под давлением и угрозами ночью открыть ворота власть имущие согласились сдать город. В Смоленск отправились для обсуждения условий сдачи сын боярский Иван Шигона-Поджигин и дьяк Иван Телешов. Государь московский пообещал в случае сдачи города отпустить всех воевод и ратных людей, кто не пожелает пойти на московскую службу. Бояре и князья, хоть и нехотя, 31 июля отворили городские ворота, пошли к шатру Великого князя челом бить и крест на верность целовали. Юрий Сологуб, а вместе с ним до сотен разного чина ратных людей присягать Москве отказались и были отпущены. По прибытии в Литву Сологуб был обвинён в сдаче крепости без боя и казнён.
Василий Иванович распорядился войти в город с частью войска Даниилу Щене и велел всех людей смоленских к целованию привести. После молебна, совершённого епископом Варсонофием, люди клялись в верности московскому государю и крест на том целовали. Смоленск почти на сто лет стал русским. Позже, в 1522 году, при подписании перемирия, Литва признала принадлежность Смоленска Москве. Город был снова захвачен поляками в период Великой Смуты.
На радостях по взятию Смоленска по возвращении в Москву на месте сбора большой рати перед походом Великий князь основал Новодевичий монастырь.