Советским полпредом в Германии был Адольф Иоффе, друг и соратник Троцкого. Потом их судьбы разойдутся, но тогда они вполне ладили, и Менжинский поддерживал Иоффе в его стычках с наркоматом иностранных дел. Дочь Иоффе пишет, что Менжинский «был человек несколько мрачный, неразговорчивый и необыкновенно вежливый — даже мне, девчонке, он говорил „вы“».

Работа в Берлине оказалась недолгой. Накануне ноябрьской революции германское правительство разорвало дипломатические отношения с Россией. Советское полпредство обвинили в том, что оно ведет антигосударственную пропаганду, сославшись на то, что в советском дипломатическом багаже обнаружились пропагандистские листовки.

Менжинского перебросили на Украину, где он несколько месяцев служил заместителем наркома советской социалистической инспекции.

Осенью 1919 года Менжинский вернулся в Москву. Дзержинский нашел ему работу в ВЧК. Еще 6 февраля ВЦИК утвердил «Положение об особых отделах при Всероссийской Чрезвычайной Комиссии». Они должны были бороться с контрреволюцией и шпионажем в армии и на флоте.

Но ввиду высокого положения и авторитета наркомвоенмора Троцкого подчеркивалось, что особые отделы будут действовать под контролем Реввоенсовета Республики (это положение отменят в 1931-м, и с этого момента военная контрразведка окончательно выйдет из подчинения армии).

Так появилась военная контрразведка, которая не только выявляла шпионов и предателей, но и следила за военачальниками, изучала настроения в армии.

Кроме того, поскольку при ВЧК еще не было Иностранного отдела, заниматься разведывательной работой за границей и на территориях, занятых Белой армией и иностранными державами, должен был Особый отдел.

Первым этот отдел возглавил сам Дзержинский. 15 сентября 1919-го Менжинского назначили особоуполномоченным Особого отдела ВЧК. Через полгода он — уже заместитель начальника отдела, а еще через несколько месяцев возглавил его. В июле 1922-го его утвердили членом коллегии ВЧК.

Менжинский докладывал о работе особых отделов, о ситуации в армии и не только в армии и Дзержинскому, и Троцкому. Причем Троцкий был куда более важной фигурой, чем председатель ВЧК. Поэтому военные чувствовали себя уверенно и не боялись чекистов. Лишь после ухода Троцкого из армии ситуация радикально изменится. А в Гражданскую войну разгневанный командарм запросто мог арестовать начальника Особого отдела, если у них не складывались отношения.

Менжинский был исключительно лоялен к наркому по военным и морским делам. Троцкий вспоминает:

«Он явился ко мне в вагон с докладом по делам особых отделов в армии.

Закончив с официальной частью визита, он стал мяться и переминаться с ноги на ногу с той вкрадчивой своей улыбкой, которая вызывает одновременно тревогу и недоумение. Он кончил вопросом: знаю ли я, что Сталин ведет против меня сложную интригу?

— Что-о-о? — спросил я в совершенном недоумении, так был далек тогда от каких бы то ни было мыслей или опасений такого рода.

— Да, он внушает Ленину и еще кое-кому, что вы группируете вокруг себя людей специально против Ленина…