8 апреля 1938 г. Н.И.Ежов был назначен наркомом водного транспорта СССР по совместительству с должностью наркома ВД СССР

Вопрос об изменении структуры центрального аппарата НКВД СССР был поднят Н.И.Ежовым на состоявшемся 24–25 января 1938 г. совещании руководящих работников НКВД. Оценивая ход "массовых операций" по арестам и расстрелам, он отметил, что назрел вопрос о выделении из состава КРО работы по промышленности в самостоятельный отдел и о создании отдела оборонной промышленности. Это объяснялось тем, что основную нагрузку по проведению "массовых операций" несли на себе 3-й отделы в Центре и на местах. Ежов сказал, что вопрос о реорганизации ГУГБ будет решен в ЦК.

17 февраля 1938 г. по приказу Ежова был отравлен Заковским и Алехиным в кабинете Фриновского начальник 7 отдела ГУГБ НКВД СССР комиссар государственной безопасности 2 ранга А.А.Слуцкий.

Сотрудникам НКВД СССР было объявлено, что он умер от сердечного приступа. Похоронен был с почестями и некрологом в "Правде". Приказом НКВД СССР № 678 от 23 марта 1938 г. А.А.Слуцкий был исключен из списков личного состава НКВД СССР за смертью.

Решение Политбюро ЦК ВКП(б) о новом организационном устройстве НКВД и ликвидации ГУГБ состоялось 28 марта 1938 г. В период с апреля до начала июня 1938 г. проходило создание 1, 2 и 3 управлений НКВД СССР, хотя наряду с этими новыми структурами действовали и элементы старой структуры ГУГБ.

9 июня 1938 г. приказом НКВД СССР № 00362 была объявлена новая структура оперативно-чекистских управлений НКВД СССР:

Управление государственной безопасности (1 управление) — (начальник — первый заместитель наркома ВД СССР, комкор М.П.Фриновский);

Управление особых отделов (УОО или 2 управление) — (комбриг Н.Н.Федоров);

Управление транспорта и связи (3 управление) — (комиссар гб 3 ранга Б.Д.Берман);

Структура 1 управления была следующей:

1 отдел (охрана правительства) — (комиссар гб 3 ранга И.Я.Дагин);

2 отдел (оперативный отдел) — (старший майор гб И.П.Попашенко);

3 отдел (КРО) — (комиссар гб 3 ранга Н.Г.Николаев-Журид);

4 отдел (СПО) — (майор гб А.С.Журбенко);

5 отдел (ИНО) — (старший майор гб 3.И.Пассов);

6 отдел (наблюдение за милицией, пожарной охраной, военкоматами) — (майор гб И.Д.Морозов);

7 отдел (оборонной промышленности) — (майор гб Л.И.Рейхман);

8 отдел (промышленный) — (комиссар гб 3 ранга А.М.Минаев-Цикановский);

9 отдел (сельского хозяйства) — (должность начальника отдела торговли, заготовок была вакантной).

Этим же приказом НКВД СССР в составе центрального аппарата НКВД СССР были организованы следующие самостоятельные оперативно-чекистские отделы:

Учетно-регистрационный отдел (УРО) (1 спецотдел НКВД СССР) — (старший майор гб И.И.Шапиро);

Отдел опертехники (2 спецотдел) — (врио начальника — майор гб М.С.Алехин);

Спецотдел (шифровальный) — (капитан гб А.Д.Баламутов);

Тюремный отдел — (майор гб Н.И.Антонов-Грицюк).

На основании постановления ПВС СССР от 16 апреля 1938 г., объявленного приказом НКВД СССР № 370 от 11 июня 1938 г. Центральное архивное управление из ведения бывшего ЦИК СССР было передано в ведение НКВД СССР.