С июня 1930 года Константин Черненко служил в Казахстане, в Джакетском пограничном отряде. В 1931 году вступил в ВКП(б) и был избран секретарем парторганизации погранотряда. В 1933–1941 годах работал на разных партийных должностях в Красноярском крае.

В 1941–1943 годах Черненко – секретарь Красноярского крайкома КПСС. В 1943–1945 годах находился на учебе в Москве, в Высшей школе партийных организаторов при ЦК ВКП(б). В 1945–1948 годах – секретарь Пензенского обкома КПСС.

С 1948 года Константин Устинович заведует отделом пропаганды и агитации ЦК КП(б) Молдавии. На этой работе в начале 1950-х годов он познакомился с Брежневым, работавшим первым секретарем ЦК КП(б) Молдавии. Деловое общение переросло в крепкую дружбу, которая длилась до конца жизни. С помощью Брежнева Черненко совершил дальнейшую партийную карьеру.

В 1956–1960 годах Константин Устинович – заведующий сектором Отдела пропаганды и агитации ЦК КПСС, в 1960–1965 годах – начальник секретариата президиума Верховного Совета СССР, с 1965 года – заведующий Общим отделом ЦК КПСС. В ноябре 1978 года избран членом Политбюро ЦК КПСС.

По складу характера Константин Устинович был склонен к малозаметной аппаратной работе, но вместе с тем был весьма осведомлен. Информацией он регулярно делился с Брежневым и, таким образом, имел репутацию «секретаря Брежнева». С конца 1970-х годов стал считаться одним из возможных преемников Брежнева.

После кончины Брежнева именно Черненко предложил 12 ноября 1982 года Пленуму ЦК КПСС кандидатуру Андропова на пост Генерального секретаря партии.

На заседании Политбюро ЦК КПСС 18 ноября 1982 года, на котором распределялись обязанности среди высшего руководства страны, Андропов оставил за собой Министерство обороны, основные вопросы внутренней и внешней политики, организационную работу Политбюро, внешнюю торговлю. Второй по значимости «кусок» получил Черненко: право вести заседания Секретариата ЦК КПСС, контролировать КГБ и МВД, Административный отдел ЦК КПСС, руководивший деятельностью судов и прокуратуры. Кроме того, за ним остался Общий отдел ЦК КПСС, которым он руководил в течение 20 лет.

Главный редактор газеты «Известия» И.Д. Лаптев писал: «О К.У. Черненко мало написано и мало известно. Аппаратчик, бесцветная личность, всегда в тени – что в этом интересного? Между тем будущие историки, вознамерившиеся ознакомиться с архивами политической партии, три четверти века распоряжавшейся страной под названием СССР, думаю, с изумлением обнаружат, что в развитие чудовищной по сложности несущей конструкции КПСС Константин Устинович внес вклад, сравнимый разве что со вкладом самого Иосифа Виссарионовича. Именно благодаря Черненко и во многом его усилиями партийный аппарат полностью подмял под себя не только аппарат государственный, но и само государство».

После кончины Андропова на внеочередном Пленуме ЦК КПСС 11 февраля 1984 года Константин Устинович был избран Генеральным секретарем ЦК КПСС.

К этому времени 72-летний глава Советского Союза был уже очень тяжело болен и рассматривался как промежуточная фигура. Даже начало правления нового генсека говорило о том, что страна при таком руководителе будет скатываться в пропасть.