29 июля 1920 года Ленин утвердил коллегию ВЧК из тринадцати человек в следующем составе: Дзержинский, Кедров, Петерс, Аванесов, Ксенофонтов, Манцев, Медведь, Лацис, Зимин, Мессинг, Кор-нев (начальник войск ВЧК), Менжинский и Ягода. Дзержинский и Менжинский успели умереть своей смертью. Остальных уничтожил Сталин.

В ВЧК, а затем в ГПУ — ОГПУ Ягода, управляющий делами ГПУ, был правой рукой Дзержинского, который его отличал и отмечал. 18 сентября 1923 года он назначил Ягоду вторым заместителем председателя ОГПУ. Генрих Григорьевич сменил Менжинского на посту начальника Особого отдела ГПУ — ОГПУ, то есть стал следить за порядком в армии. Потом вместо Менжинского возглавил и все секретно-оперативное управление, то самое, которое занималось борьбой с антисоветскими элементами.

Едкий в оценках наркомвоенмор Троцкий так характеризовал приходившего к нему на доклад нового начальника Особого отдела: «Ягода очень точен, чрезмерно почтителен и совершенно безличен. Худой, с землистым цветом лица (он страдал туберкулезом), с коротко подстриженными усиками, в военном френче, он производил впечатление усердного ничтожества».

Троцкий, как это бывало с ним часто, недооценивал других. Ягода не был ничтожеством.

После смерти Феликса Эдмундовича председателем ОГПУ назначили Менжинского, как старшего по возрасту и партийному стажу и просто как более опытного человека. Но Ягода становится не просто первым заместителем Менжинского, но и фактически главным человеком в этом ведомстве. Он ведет все практические дела, руководит аппаратом, поскольку шеф подолгу болеет.

В 1930 году Ягода получает второй орден Красного Знамени. За строительство Беломорско-Балтийского канала он получит еще и орден Ленина.

Но дорога наверх не была усыпана розами. У Ягоды внутри ОГПУ нашлось немало врагов. Против него выступил заместитель председателя Михаил Абрамович Трилиссер, но его Сталин убрал из органов. Недовольство Ягодой выразили и заместитель начальника контрразведывательного отдела Артур Христианович Артузов, начальник секретно-оперативного управления Ефим Григорьевич Евдокимов, начальник Иностранного отдела Станислав Адамович Мессинг.

Это произвело впечатление на Сталина. Положение Ягоды стало шатким. В 1931 году его из первых заместителей перевели во вторые. Его место занял Иван Алексеевич Акулов, но в конце 1932-го он ушел из органов и уехал в Киев секретарем ЦК компартии Украины.

Сталин не был милостив к своим чекистам, если они осмеливались его разгневать.

Летом 1932 года он написал Кагановичу:

«Нельзя оставлять без внимания преступный факт нарушения директивы ЦК о недопущении подпольной работы ОГПУ и Разведупра в Маньчжурии. Арест каких-то корейцев-подрывников и касательство к этому делу наших органов создает (может создать) новую опасность провокации конфликта с Японией. Кому все это нужно, если не врагам советской власти?..

Поговорите с Молотовым и примите драконовские меры против преступников из ОГПУ и Разведупра (вполне возможно, что эти господа являются агентами наших врагов в нашей среде). Покажите, что есть еще в Москве власть, умеющая примерно карать преступников».