8 декабря 1936 г. Отдел кадров (ОК) ГУГБ НКВД СССР был реорганизован в Отдел кадров НКВД СССР (начальник — майор гб М.ИЛитвин).

28 ноября 1936 г. был также организован Секретариат НКВД СССР во главе с комиссаром гб 3 ранга Я.А.Дейчем.

В принятой 3 марта 1937 г. резолюции Пленума ЦК ВКП(б) были одобрены проводимые ЦК ВКП(б) мероприятия по организационной перестройке аппарата ГУГБ НКВД СССР и укреплению его новыми партийными кадрами, а также по удалению из аппарата разложившихся бюрократов, потерявших всякую большевистскую остроту и бдительность в борьбе с классовым врагом и позорящих славное имя чекистов. В частности, был одобрен арест и предание суду "одного из главных виновников позорного провала органов государственной безопасности в борьбе с зиновьевцами и троцкистами, бывшего начальника Секретно-политического отдела ГУГБ Молчанова".

В четвертом пункте резолюции Пленума было записано: "Продолжить и завершить реорганизацию аппарата Наркомвнудела, в особенности аппарата ГУГБ, сделав его подлинно боевым органом, способным обеспечить возложенные на него партией и Советским правительством задачи по обеспечению государственной и общественной безопасности в нашей стране". В резолюции говорилось: "учитывая важнейшее народнохозяйственное и оборонное значение железнодорожного транспорта и необходимости ограждения от антисоветской разрушительной деятельности врагов Советского Союза". Было поручено реорганизовать 6 отдел ГУГБ НКВД СССР (Отдел транспорта и связи), выделив для обслуживания железнодорожного транспорта специальный отдел, возложив на него борьбу со всеми видами контрреволюции на транспорте и освободив Транспортный отдел ГУГБ от функций охраны общественного порядка на железнодорожном транспорте, от несения дежурств на вокзалах, от борьбы с хищением социалистической собственности, от борьбы с хулиганством и детской беспризорностью, создав для охраны общественного порядка и борьбы с уголовной преступностью на железнодорожном транспорте специальную железнодорожную милицию, которую подчинить ГУРКМ НКВД СССР.

Для обслуживания водного транспорта, шоссейных дорог и системы Наркомата связи было поручено организовать 11 отдел ГУГБ НКВД СССР.

Во исполнение постановления февральско-мартовского 1937 г. Пленума ЦК ВКП(б) совместным приказом НКВД СССР и НКПС СССР от 26 июня 1937 г. в составе ГУРКМ НКВД СССР быт организован Отдел железнодорожной милиции (начальник отдела — капитан гб Ф.П.Фокин), а приказом НКВД СССР от 14 июля 1937 г. в составе ГУГБ НКВД СССР был организован 11 отдел (по чекобслуживанию водного транспорта, шоссейных дорог и связи). Начальником отдела был назначен майор гб В.В.Ярцев.

Приказом НКВД СССР № 027 от 19 марта 1937 г. на базе планового отделения Финансового отдела НКВД СССР был организован Плановый отдел НКВД СССР. Штат сотрудников — 35 человек.

7 августа 1937 г. был организован 12 отдел ГУГБ НКВД СССР (опертехники) (старший майор гб С.Б.Жуковский).

Приказом НКВД СССР № 311 от 8 августа 1937 г. Финансовый отдел и Плановый отдел НКВД СССР были объединены в один отдел — Центральный финансово-плановый отдел НКВД СССР (ЦФПО НКВД СССР). Начальник ЦПФО НКВД СССР — Л.И.Берензон.