Иван Михайлович был профессиональным партийным функционером, в РСДРП вступил в 1911 году. В Петербурге он начал работать в районной партийной организации, перед Первой мировой войной был включен в Русское бюро ЦК, участвовал в знаменитом совещании на Болотной 16 октября 1917 года, когда решался вопрос о вооруженном восстании. А когда после революции было создано Северо-Западное бюро ЦК он стал его секретарем — то есть в партийной иерархии Петрограда был вторым человеком после Зиновьева.
Его Москвин очень не любил, считая жестоким, несправедливым и в то же время трусливым человеком. Когда возникла «ленинградская» или «новая» оппозиция во главе с Зиновьевым, то Иван Михайлович не только не присоединился к ней, а выступил с ее резким осуждением. Это очень понравилось Сталину, что и предопределило дальнейший успех партийной карьеры Москвина. На XIV съезде ВКП(б) он был избран членом ЦК. Вскоре его перевели в Москву и доверили в ЦК ответственный пост — Орграспредотдел.
Иван Михайлович стал фактически главным кадровиком страны, возглавляемый им отдел ведал всеми кадрами: партийными, советскими, производственными, научными и даже в некоторой степени РККА и ОГПУ.
Понадобились опытные сотрудники, хорошие исполнители, знакомые с орграспредработой. Тогда Москвин и вспомнил о приятном и скромном молодом человеке, секретаре Киргизского обкома ВКП(б) Николае Ежове, который уже несколько лет занимался организационно-распределительными вопросами в местных партийных организациях. Познакомился он с ним в декабре двадцать пятого на XIV съезде ВКП(б). В гостинице их номера оказались рядом… и, узнав, что Ежов тоже питерец, Москвин пару раз пригласил его к себе на чай. Николай произвел на него впечатление трудолюбивого, исполнительного и аккуратного человека.
В правильности своей оценки Ежова Москвин убедился в феврале 1927 года, когда перевел его из Казахстана в Орграспредотдел ЦК на должность инструктора. Ежов сразу же взялся за работу, до поздней ночи просиживал за бумагами. У Москвина создалось впечатление, что Ежов целиком отдает себя работе. Можно было не контролировать то, что он ему поручал, — все будет выполнено точно и в срок. Во всех вопросах Ежов был так дотошен и настолько глубоко прорабатывал их, что его даже приходилось сдерживать, сам он остановиться не мог.
Читая исполненные Ежовым документы, трудно было поверить, что он только год посещал школу и не получил практически никакого образования. Николай писал грамотно, крайне редко допускал орфографические ошибки. У него был неплохой стиль изложения материала, выработались определенные речевые штампы и формулировки, необходимые для составления документов. Чувствовалось, что он в свое время много занимался самообразованием и в этом ему помогала окончившая два курса университета Антонина Титова.
Как-то сослуживцы спросили Москвина о новом работнике. Он сначала рассказал известную ему с детства притчу.
Один лавочник решил взять себе приказчика. Пришел к нему наниматься молодой человек. Лавочник сразу же послал его на соседний провиантский склад узнать, почем там сахар. Возвращается парень и говорит, что на складе сахара вовсе нет! Отказал лавочник ему в месте. Нашел другого и тоже послал на склад про сахар узнать. Возвращается тот и говорит, что сахара нет, но чай — отменный, крупный и дешевый, а если пуд взять — на четверть скидку дадут; масло постное хорошее и крупа пшенная; а муку брать не стоит, в других местах такую же дешевле можно взять. Так он про все товары на складе рассказал, за что и был взят на работу.