С началом военный действий два заместителя наркома ВД СССР И.И.Масленников и С.Н.Круглов убыли на фронт, а обязанности по наблюдению за работой управлений и отделов НКВД СССР были распределены следующим образом:

Л.П.Берия — нарком внутренних дел СССР — наблюдал за работой: 1 управления, Следчасти по ОВД, 2, 4, и 5 с/о, Секретариата ОСО, Контрольно-инспекторской группы, ЦФПО и Секретариата НКВД СССР;

В.Н.Меркулов — 1 зам. НКВД СССР — 2 и 3 управления, УКМК, 3 с/о, 1 отдел и Моботдел;

Б.З.Кобулов — Транспортное и экономическое управления и 6 с/о;

В.С.Абакумов — Управление особых отделов (УОО);

И.А.Серов — ГУМ, ГУПО, ГУМПВО, 1 с/о, тюремное управление, УПВИ, Штаб истребительных батальонов и УГА;

А.Н.Аполлонов (и.о. начальника войск НКВД, а с 12 марта 1942 г. зам. НКВД СССР по войскам) — все войсковые управления;

В.В.Чернышов — ГУЛАГ, ГУЛЖДС, УЛЛП, УМТС, ХОЗУ, Отдел ж.д. и водных перевозок;

Л.Б.Сафразьян — ГУАС, ГУШОСДОР, Главгидрострой;

А.П.Завенягин — ГУЛГМП, Главпромстрой, Управление лагерей по строительству Куйбышевских заводов и Дальстрой;

Б.П.Обручников — отдел кадров.

В августе — декабре 1941 г. произошли следующие изменения в структуре Центрального аппарата НКВД СССР:

23 августа для руководства возложенным на НКВД строительством оборонительных сооружений было образовано Главное управление оборонительных работ (ГУОБР) НКВД СССР. Его начальником был назначен К.А.Павлов, но в составе НКВД СССР этот главк был недолго и уже 15 октября 1941 г. он был передан в состав НКО СССР;

26 августа Управление конвойных войск НКВД СССР и Управление войск НКВД СССР по охране ж.д. сооружений и особо важных предприятий промышленности были реорганизованы в Отдел конвойной службы ГУВВ НКВД СССР, в Отдел службы по охране ж.д. объектов ГУВВ НКВД СССР и в Отдел службы по охране промышленных объектов ГУВВ НКВД СССР;

28 августа в связи с массовым переселением немцев Поволжья был образован Отдел спецпереселений (ОСП) НКВД СССР. Его начальником был назначен И.В.Иванов ОСП НКВД СССР, как самостоятельный отдел центрального аппарата НКВД СССР, просуществовал недолго и 14 ноября 1942 г. он был упразднен, а его функции были переданы в Отдел трудовых и спецпоселений ГУЛАГа НКВД СССР;

5 сентября был образован 7 с/о НКВД СССР (по чекистскому обслуживанию производства минометного вооружения). Начальником 7 с/о НКВД СССР был назначен (по совместительству) начальник ЭКУ НКВД СССР П.Я.Мешик, а 10 ноября начальником 7 с/о НКВД СССР был назначен И.Н.Ткаченко. 14 ноября 1942 г. 7 с/о НКВД СССР был упразднен;

30 сентября на базе Отдела по борьбе с бандитизмом ГУМ НКВД СССР был создан Отдел по борьбе с бандитизмом (ОБЕ) НКВД СССР. Его начальником был назначен С.А.Клепов.

В директиве СНК СССР и ЦК ВКП(б) от 29 июня 1941 г. "О мобилизации всех сил и средств на разгром фашистских захватчиков", в выступлении И.В.Сталина по радио 3 июля 1941 г. и в постановлении ЦК ВКП(б) от 18 июля 1941 года "Об организации борьбы в тылу германских войск" говорилось о создании в тылу противника невыносимых условий для врага и всех его пособников, о создании партизанских отрядов и диверсионных групп для борьбы с частями вражеской армии, для взрыва мостов, дорог, порчи телефонной и телеграфной связи, поджогов лесов, складов и обозов. Во исполнение этих указаний для руководства разведывательно-диверсионными группами НКВД, действующими в тылу противника, 3 октября 1941 г. в составе НКВД СССР был организован 2 отдел (начальник — старший майор гб П.А.Судоплатов. Ранее он с 5 июля 1941 г. возглавлял Особую группу при наркоме ВД с теми же задачами).