Меж тем Маленков и Берия только и ожидали, когда Абакумов сделает, наконец, явно неверный шаг. И дождались… Палочкой-выручалочкой для двух интриганов стало заявление старшего следователя Следственной части по особо важным делам МГБ подполковника Михаила Рюмина. В заявлении 2 июля 1951 года на имя Сталина он сообщил о полученном им от подследственного, профессора 2 Московского мединститута Якова Этингера, признании в неправильном лечении секретаря ЦК партии А. С. Щербакова, которое привело его к смерти (10 мая 1945 года).
По словам Рюмина, Абакумов не отнесся серьезно к показаниям врача, приказал «положить дело на полку», а вскоре Этингер умер в Лефортовской тюрьме. Рюмин назвал в своем письме Абакумова «опасным человеком для государства». Этому смелому письму Рюмина предшествовала его встреча с Дмитрием Сухановым, помощником секретаря ЦК Георгия Маленкова, который был заинтересован в устранении Абакумова так же, как и Берия и другие члены Политбюро. Методика была отработана еще в 1938 году. С аналогичным заявлением о Ежове тогда выступил начальник Ивановского управления НКВД Виктор Журавлев, и тоже с подачи Маленкова.
Лаврентий Павлович Берия не испытывал симпатий к Абакумову начиная с 1943 года, когда военная контрразведка была выведена из органов госбезопасности и Виктор Семенович возглавил новую спецслужбу – Главное управление контрразведки Наркомата обороны «Смерть шпионам». Тогда же он стал заместителем Сталина по Наркомату обороны. И хотя он занимал эту должность всего месяц (несколько должностей замнаркомов, которыми были по совместительству начальники главных управлений, были сокращены), значение Абакумова в системе власти резко возросло. Бывший заместитель Берии если и не сравнялся со своим прежним начальником (Берия во время войны был кандидатом в члены Политбюро, заместителем Сталина по Совнаркому и Государственному комитету обороны, наркомом внутренних дел), то, во всяком случае, стал независимым от него, так же как и от наркома госбезопасности Всеволода Николаевича Меркулова.
И Берия, и Меркулов, помнившие Абакумова еще лейтенантом госбезопасности в 1938 году, вряд ли были рады такому взлету своего бывшего подчиненного. Тем более что Абакумов сразу же стал демонстрировать свое пренебрежительное отношение к бывшему начальнику.
4 июля Рюмин был вызван к Сталину, в кабинете которого в присутствии Молотова, Маленкова, Берии, Булганина и доложил обо всем. В тот же день была создана комиссия Политбюро в составе Маленкова, Берии, заведующего отделом партийных, комсомольских и профсоюзных органов ЦК Семена Денисовича Игнатьева и зампреда КПК Матвея Федоровича Шкирятова. В тот же день Абакумов был смещен с поста министра госбезопасности.
11 июля было принято Постановление ЦК ВКП (б) «О неблагополучном положении в Министерстве государственной безопасности СССР».
2 июля 1951 года ЦК ВКП (б) получил заявление старшего следователя следственной части по особо важным делам МГБ СССР т. Рюмина, в котором он сигнализировал о неблагополучном положении в МГБ со следствием по ряду весьма важных дел крупных государственных преступников и обвиняет в этом министра государственной безопасности т. Абакумова…