В 1940 году Юрий Владимирович развелся с Енгалычевой и женился на Татьяне Филипповне Лебедевой. У них родилось двое детей – Игорь и Ирина.
С 1944 года по 1947 год Юрий Владимирович занимал пост второго секретаря Петрозаводского горкома КП(б) Карело-Финской ССР, в 1947–1951 годах – второго секретаря ЦК КП(б) Карело-Финской ССР. В этот период он учился в Петрозаводском государственном университете и Высшей партийной школе при ЦК КПСС.
Андропов на трибуне
Летом 1951 года Андропов переезжает из Петрозаводска в Москву, где начинает работать инспектором ЦК КПСС, занимаясь наблюдением за партийными организациями Латвии, Литвы и Эстонии.
С мая 1953 года – на дипломатической работе – начальник 4-го отдела (Польша, Чехословакия) МИД СССР.
С июля 1954 года по март 1957 года Юрий Владимирович – Чрезвычайный и Полномочный Посол СССР в Венгрии. Здесь он подружился с секретарем посольства В.А. Крючковым, который на многие годы стал одним из самых близких к Андропову людей. Крючков с 1967 года работал в КГБ, и уже после кончины Андропова он возглавил эту организацию.
Осенью 1956 года в Венгрии произошло восстание против руководителей страны, поставленных править страной руководителями СССР. Оно было жестоко подавлено советскими войсками, которые были введены в страну по настоятельному требованию Андропова. 3 ноября Юрий Владимирович пригласил в советское посольство для переговоров делегацию революционного венгерского правительства во главе с одним из руководителей восстания, министром обороны революционного венгерского правительства Палом Малетером. Венгерская делегация была арестована, ее руководителя Малетера расстреляли.
После подавления венгерского восстания Андропов рекомендовал на пост руководителя Коммунистической партии Венгрии Я. Кадара.
В 1957–1967 годах Юрий Владимирович заведует отделом ЦК КПСС по связям с коммунистическими и рабочими партиями социалистических стран.
На XXI съезде КПСС в 1961 году избран членом ЦК КПСС. В 1962–1967 годах – секретарь ЦК КПСС по социалистическим странам. Его помощником стал В.А. Крючков.
В Кремлевском Дворце съездов 22 апреля 1964 года прошло торжественное заседание, посвященное 94-й годовщине со дня рождения В.И. Ленина. В президиуме – руководители партии и правительства во главе с Н.С. Хрущевым. Секретарю ЦК КПСС Андропову была доверена высочайшая честь, которой обычно удостаивались только члены Политбюро, – выступить с докладом «Ленинизм озаряет наш путь».
Заместитель министра иностранных дел B.C. Семенов записывает: «Доклад Андропова был местами интересный, но очень сложный стилем изложения – непрерывная цепь правильных положений, только изредка иллюстрируемых фактами и примерами. В целом Андропов сейчас растет и, как передают, весьма плодовит именно в идеологической области».
В 1964 году принимал участие во внутрипартийном заговоре по смещению с руководства страною Н.С. Хрущева.
С 18 мая 1967 года в течение 15 лет Юрий Владимирович возглавлял Комитет государственной безопасности при Совете Министров СССР. За эти годы КГБ укрепил свой контроль над всеми сферами деятельности государства и общества. Штат этой организации постоянно расширялся, появились ее отделения не только в областях, но и в каждом районе Советского Союза. Одним из основных направлений деятельности КГБ была проверка граждан на благонадежность, выявление антисоветски настроенных советских людей и борьба с ними.