Постановлением СМ СССР № 328 от 22 февраля 1954 г. начальник Управления кадров МВД СССР полковник В.П.Петушков был назначен заместителем министра внутренних дел СССР.

Постановлением СМ СССР № 344 от 25 февраля 1954 г. начальник ГУМ МВД СССР генерал-лейтенант Н.П.Стаханов был назначен заместителем министра вн. дел СССР.

Решение о выделении органов государственной безопасности из МВД СССР в самостоятельное ведомство было принято Президиумом ЦК КПСС 10 февраля 1954 г. (П 50/11). 12 марта 1954 г. Президиум ЦК КПСС принял решение об основных задачах органов государственной безопасности. 13.03.54 Указом Президиума Верховного Совета СССР был образован Комитет государственной безопасности при Совете Министров СССР и Указом Президиума Верховного Совета СССР от 13 марта 1954 г. бывший первый заместитель министра внутренних дел СССР генерал-полковник И.А.Серов был назначен Председателем КГБ при Совете Министров СССР.

В соответствии с решением ЦК КПСС структура Центрального аппарата КГБ при Совете Министров СССР была следующей:

— 1 Главное управление (разведка за границей)

— 2 Главное управление (контрразведка)

— 3 Главное управление (военная контрразведка)

— 4 управление (борьба с антисоветским подпольем, националистическими формированиями и враждебными элементами)

— 5 управление (контрразведывательная работа на особо важных государственных объектах)

— 6 управление (контрразведывательная работа на транспорте)

— 7 управление (служба наружного наблюдения)

— 8 Главное управление (шифровально-дешифровальное)

— 9 управление (охрана руководителей партии и правительства)

— 10 управление (Управление коменданта Московского Кремля)

— управление кадров

— следственное управление

— 1 с/о (контрразведывательная работа на объектах атомной промышленности)

— 2 с/о (служба применения опертехники)

— 3 с/о (изготовление средств тайнописи, документов для оперативных целей, экспертиза документов и почерков)

— 4 с/о (радиоконтрразведка)

— 5 с/о (изготовление средств опертехники)

— отдел "С" (правительственная связь) — УАО (учетно-архивный отдел)

— тюремный отдел

— ХОЗУ (хозяйственное управление)

— ФПО (финансово-плановый отдел)

— моботдел

— управление учебных заведений

— бухгалтерия

— инспекция при Председателе КГБ при СМ СССР

— секретариат КГБ при СМ СССР

Во исполнение распоряжения Совета Министров СССР № 10709рс от 25 сентября 1954 г. подразделения правительственной "ВЧ"-связи были из ведения МВД СССР переданы в ведение КГБ при СМ СССР, был организован Отдел войск правительственной "ВЧ"-связи КГБ при СМ СССР.

В соответствии с постановлением Совета Министров СССР № 805-484сс от 26 апреля 1955 г. был организован 6 спецотдел (перлюстрация телеграфной и почтовой корреспонденции) КГБ при СМ СССР. Ранее функции этого спецотдела выполнял упраздненный теперь 10 отдел 4 управления КГБ при СМ СССР.

В соответствии с распоряжением Совета Министров СССР № 3569рс от 26 апреля 1955 г. для строительства и капитального ремонта зданий для органов государственной безопасности в составе КГБ при СМ СССР 16 мая 1955 г. был организован Военно-строительный отдел (несколько позднее этот Отдел был преобразован в Военно-строительное управление).