Во второй половине 50-х Кадочников продолжал сниматься в кино, причём, в отличие от актёров своего поколения, довольно часто: иногда по несколько фильмов в год. Правда, заметных работ среди них практически не было. А потом грянул скандал, который надолго перечеркнул актёрскую карьеру Кадочникова в кинематографе.
В сентябре 1961 года в газете «Труд» была напечатана заметка «Автограф… на судебной повестке», где Кадочникова обвиняли в том, что он участвует в «левых» концертах. Как писал автор заметки: «Дух стяжательства и наживы всецело завладел душой художника, Кадочников перестал задумываться над тем, какими путями приходят к нему деньги…».
В заметке рассказывалось о том, что популярный актёр был в сговоре со своим администратором и в течение долгого времени участвовал в незапланированных концертах, выручку от которых они делили поровну. Однако когда эти «левые» концерты вскрылись и состоялся суд над махинаторами, то наказание они получили разное: если администратора осудили на три года тюрьмы условно, то актёр отделался всего лишь общественным порицанием.
Как утверждал позднее сам Кадочников, вся эта история была выдумана его недоброжелателями в кинематографической среде. Что таким образом они мстили ему за какие-то давние обиды и успеха на этом поприще добились: актёру надолго перекрыли кислород, перестав снимать в картинах. Тогда, чтобы не сидеть сложа руки, Кадочников ушёл в режиссуру. В результате на свет появились фильмы, снятые им, — «Музыканты одного полка» (1965), «Снегурочка» (1970), «Я тебя никогда не забуду» (1984).
Кроме этого, в свободные от работы часы Кадочников рисовал, занимался скульптурой, писал прозу.
Полоса забвения Кадочникова как актёра продолжалась до 1976 года, пока режиссёр Никита Михалков внезапно не предложил ему одну из ролей в фильме «Неоконченная пьеса для механического пианино». После выхода картины на экран о Кадочникове вновь вспомнили, и предложения сниматься от других режиссёров посыпались одно за другим. Но актёр был скуп на обещания и своё согласие сниматься давал не каждому. Так, в 1977–1978 годах он сыграл только в двух картинах: «Сибириада» и «Сюда не залетали чайки» (оба фильма вышли в 1979 году). В последней картине Кадочников снялся вместе со своим взрослым сыном Петром (он после школы поступил в Политехнический институт, однако в 30 лет решил посвятить себя искусству — закончил ЛГИТМиК). К сожалению, это была их последняя совместная работа. Вскоре после неё Пётр трагически погиб. Причём эта гибель выглядела более чем странно.
Весной 1981 года Пётр предложил отцу съездить отдохнуть в Прибалтику на Игналинские озёра. Однако у Кадочникова-старшего в то время было много работы (он снимался сразу в трёх картинах), поэтому от предложения сына он отказался. И Пётр отправился отдыхать один. А буквально через два дня после его отъезда Кадочниковым пришло сообщение, что их сын погиб.
Вспоминает Н. Кадочникова:
«Трагедия произошла в Прибалтике. Где бы папа ни находился, он обожал прыгать с деревьев. Он взбирался на берёзу и прыгал вниз, держась за верхушку. Папа несколько раз проделывал этот рискованный трюк вместе со мной. Наклонял гибкий ствол берёзы, мы хватались крепко за верхушку и резко взмывали вверх. Ощущения от полёта были необыкновенные. Это случилось на пикнике… Тогда в Прибалтике он не учёл одного: сосна в отличие от берёзы имеет очень ломкий ствол. Картина его гибели до сих пор стоит передо мной: папа вскочил, быстро взобрался на сосну — всё произошло почти мгновенно. Потом резкий звук и… всё. И только его друзья и мама стоят растерянные, не понимая, что же случилось.