7 октября 1939 года на базе этого штаба было сформировано отдельное Центральное управление, состоявшее из шести отделов, а Грайфельт стал его руководителем (было известно как «Отдел Грайфельта»). 1 июля 1941 года это управление реорганизовали в Штабное управление имперского комиссара. В ведении Грайфельта находилась координация работы как Главного управления расы и поселений (РуСХА), так и ВоМи. Начальником штаба Грайфельта с ноября 1939 года был оберфюрер СС доктор Германн Берендс, специально отозванный для этого из ВоМи. 21 июня 1941 года Берендс вернулся в ВоМи, где был снова назначен начальником штаба, а его должность занял оберфюрер СС (произведен 9 ноября 1941 года) Рудольф Кройц[14].

Чтобы не создавать путаницы, Гиммлер распределил обязанности между новосозданной службой Грайфельта и ведомством Лоренца. Основной задачей Грайфельта было проведение мероприятий по переселению этнических немцев (как правило, на территорию польского Генерал-губернаторства), экспроприации еврейской и польской собственности для их нужд на оккупированных территориях и ее распределение. Вопреки распространенным утверждениям, действовало оно достаточно скромно — к середине 1941 года из 928 000 польских ферм в Генерал-губернаторстве лишь 47 000 (5%) было передано в руки немецких переселенцев[15]. Центр Лоренца составлял списки возвращенцев и переселенцев, попутно сохраняя контроль над общинами фольксдойче в разных странах. Оба учреждения работали рука об руку. Что касается РуСХА, то оно проводило расовую проверку переселявшихся в Германию этнических немцев.

В декабре 1940 года Гесс окончательно передал Гиммлеру все полномочия касательно работы с фольксдойче[16], теперь это официально стало делом СС, а не партии. 15 июня 1941 года ВоМи получило статус главного управления в системе СС (Hauptamt Volksdeutsche Mittelstelle).

Таким образом, всего лишь за два года СС прочно захватило контроль над всем спектром работы с немецкими общинами в других странах, подмяв под себя либо оттеснив на второй план все остальные конкурирующие организации. Благодаря контролю над ВоМи и РКФДВ в руках СС оказался важный инструмент воздействия на внешнюю политику Третьего рейха. Однако не мог пройти мимо внимания руководства СС и вероятный мобилизационный потенциал этнических немцев, что впоследствии обусловило широкую вербовку фольксдойче в войска СС и добавило в список эсэсовских структур, занимающихся фольксдойче, Главное управление СС (в вопросах вербовки, комплектования и мировоззренческой подготовки), Главное оперативное управление СС (в вопросах боевой подготовки и обеспечения) и Главное управление кадров СС (конкретно — Управленческую группу «Ц»).

После успешного завершения Польской кампании 1939 года рейхсфюрер СС Гиммлер намеревался и далее расширять войска СС путем формирования новых подразделений. Однако на пути этого намерения стояло армейское руководство, отказывающее СС в выделении необходимых людских резервов. СС получало только 2% от числа немецких призывников, то есть 12 000 человек. В то же время к 1940 году для поддержания постоянной численности войск СС в них ежегодно должны были приходить 18 000 новобранцев