В июле 1967 года Андропов был избран кандидатом в члены Политбюро, с апреля 1973 года – член Политбюро ЦК КПСС.

17 июля 1969 года появилось 5-е Главное управление КГБ – идеологическое. Его создание Председатель КГБ Андропов мотивировал «наращиванием и активизацией подрывных действий реакционных сил, которые делают ставку на создание антисоветских подпольных групп, разжигание национальных тенденций, оживление реакционной деятельности церковников и сектантов». В послании ЦК КПСС он говорил: «Под влиянием чуждой нам идеологии у некоторой части политически незрелых советских граждан, особенно из числа интеллигенции и молодежи, формируются настроения аполитичности и нигилизма, чем могут пользоваться не только заведомо антисоветские элементы, но также политические болтуны и демагоги, толкая таких людей на политически вредные действия».

По инициативе Андропова были проведены судебные процессы над правозащитниками, практиковались формы внесудебного преследования (содержание в психиатрических спецбольницах), высылка диссидентов за границу. В 1968 году Юрий Владимирович выступил решительным сторонником скорейшего ввода войск в Чехословакию.

КГБ не ограничивалось, конечно, только борьбой с инакомыслящими советскими гражданами.

На Пленуме ЦК КПСС 26 апреля 1973 года Брежнев выступил с докладом и, отступив от написанного текста, сказал: «КГБ под руководством Юрия Владимировича оказывает огромную помощь Политбюро во внешней политике. Обычно думают, что КГБ – это значит только кого-то хватать и сажать. Глубоко ошибаются. КГБ – это, прежде всего, огромная и опасная загранработа. И надо обладать способностями и характером. Не каждый может не продать, устоять перед соблазнами. Это вам не так, чтобы… с чистенькими ручками. Тут нужны большое мужество и большая преданность».

В системе КГБ 29 июля 1974 года было создано специальное подразделение антитеррора – группа «А» («Альфа»). Но главный чекист больше всего внимания продолжал уделять идеологии.

Андропов 26 июля 1975 года обратился в ЦК КПСС со следующим предложением: «Антисоветскими кругами на Западе периодически инспирируются различного рода пропагандистские кампании вокруг царской семьи Романовых, и в этой связи нередко упоминается бывший особняк купца Ипатьева в городе Свердловске.[12] Дом Ипатьева продолжает стоять в центре города… В последнее время Свердловск начали посещать зарубежные специалисты. В дальнейшем круг иностранцев может значительно расшириться и дом Ипатьева станет объектом их серьезного внимания. В связи с этим представляется целесообразным поручить Свердловскому обкому партии решить вопрос о сносе особняка в порядке плановой реконструкции города».

Партийное руководство страны поддержало почин главного чекиста. Спустя два года новый первый секретарь Свердловского обкома КПСС Б.Н. Ельцин отдал распоряжение снести это историческое здание, что и было выполнено в ночь с 27 на 28 июля 1977 года.

В 1976 году Андропову было присвоено воинское звание генерала армии.

На заседании Политбюро ЦК КПСС 12 декабря 1979 года было принято решение о вводе советских войск в Афганистан. Инициаторами этого решения, по уверению посла СССР в США А.Ф. Добрынина, были Андропов, Устинов и Громыко.