Сергеев работал напряженно. Задач было много, а помощников и ценных агентов все еще у него не было. Первые успехи, конечно, были. В Москве их по достоинству оценили. Сергееву было присвоено воинское звание капитан. Это событие Сергеев и его жена Нина тихо отметили в домашних условиях. Для всех сотрудников посольства Сергеев был только шофером военного атташе.
Центр своевременно переориентировал Сергеева на выполнение новых задач. Правильность этого решения стала очевидной в начале апреля 1941 года, когда в Москве был подписан советско-японский пакт о нейтралитете. Личное участие Сталина в проводах японского министра иностранных дел Мацуоки вызвало в США открытую отрицательную реакцию. В условиях обострения американо-японских отношений этот пакт рассматривался в Вашингтоне как акция, свидетельствовавшая об укреплении позиций Японии на Дальнем Востоке, что противоречило интересам США. Об интересах Советского Союза, который после подписания акта о нейтралитете с Японией обезопасил свои дальневосточные границы, в американской столице никто не думал. Американский прагматизм во внешней политике США тех лет был удивительным политическим явлением: земной шар мог катиться в преисподнюю, главное, чтобы он в своем падении не затрагивал американские национальные интересы.
Правительство США, недовольное подписанием советско-японского пакта о нейтралитете, не ограничилось только дипломатическим демаршем в отношении Москвы. Государственный департамент, помимо свертывания торговых отношений с СССР, ввел 7 июня 1941 года ограничения на свободу передвижения сотрудников советских представительств по территории США. 10 июня Государственный департамент предпринял еще один антисоветский демарш. Персонами нон грата были объявлены два помощника военно-воздушного атташе советского посольства в США.
О вероломном нападении фашистской Германии на СССР семья Сергеевых тоже узнала, находясь в Вашингтоне. Это известие ошеломило не только их, но и всех членов советского дипломатического представительства. Американские журналисты, рассуждавшие до этого нападения о возможном союзе Гитлера и Сталина, после 22 июня писали на страницах своих газет о том, стоит ли помогать Советскому Союзу в войне против фашистской Германии.
Сергеев 25 июня 1941 года прочитал в газете «Уолл-стрит джорнал» странную статью. В ней говорилось, что «американский народ знает, что принципиальная разница между мистером Гитлером и мистером Сталиным определяется только величиной их усов. Союз с любым из них будет оплачен престижем страны».
В американских коридорах власти было сформулировано четкое отношение к событиям на советско-германском фронте: пусть Германия и СССР воюют как можно дольше, а США активно вступят в войну, когда оба противника будут полностью обессилены. Такую точку зрения разделяли не все, но пропасть между интересами США и СССР была все-таки очень глубокой. Одни американцы умышленно пытались ее углубить и расширить, таких было большинство, другие стремились построить мост, который позволил бы объединить усилия двух государств в борьбе против фашистской Германии.