В результате такого управления каменское хозяйство пришло в полное расстройство и его молодым хозяевам грозило разорение. Их спасли испытанные ими в Петербурге неудачи. Окончив Школу Гвардейских Подпрапорщиков, старший из них, Петр, вышел офицером в Конную Гвардию, а младший, Николай, - в Преображенский полк. Однако, оба они недолго оставались на военной службе. Первому пришлось ее покинуть из-за недопустимых шалостей, а второму - из-за резкости, допущенной по отношению к нему наследником престола, будущим императором Александром II. Когда Николаю I было доложено, что корнет Конной Гвардии, Петр Давыдов, проскакал на паре с пристяжной по Невскому Проспекту от Адмиралтейства до Александро-Невской Лавры, а затем выехал верхом в лагере на переднюю линейку, в голом виде, он только рассмеялся и сказал: "Пусть поедет проведать отца в Сибири". Наказание было легким, потому что дед отправлялся в Красноярск совершенно свободно и мог вернуться оттуда, когда ему заблагорассудится. Да и для ссыльного отца было большой радостью увидеть сына. Так мягко поступил с сыном декабриста прославленный своей строгостью Николай I. Совершенно иначе обошелся с дядей Николаем наследник Александр Николаевич, впоследствии даровавший амнистию декабристам. На параде Преображенского Полка, который он принимал, он крикнул сделавшему какую-то ошибку дяде: "Подпоручик Давыдов, вы всегда и все врете", - после чего дяде не оставалось ничего другого, как подать в отставку.
Пробыв в Сибири не более года, мой дед вернулся женатым на дочери декабриста кн. С. П. Трубецкого, красавице (22) Елизавете, и поселился с ней в ее имении Саблы, в Крыму, а дядя Николай отправился в Каменку заниматься хозяйством. Это и спасло ее.
Найдя дела в Каменке в полном расстройстве, дядя Николай всецело отдался приведению их в порядок. Образ жизни, принятый им тогда и сохраненный им до конца жизни, был спартанский. О "веселом шуме семейной деревенской жизни" в Каменке теперь не могло быть и речи. От прежнего каменского богатства не оставалось и следа, да к тому же дядя был холост и жил один. Надо было думать не только о собственном питании, но и братьях и сестрах, живших в Петербурге, да и об отце и его семье в Сибири... Под руководством своего дяди гр. Бобринского, опытного сельского хозяина и пионера свекловичного сахароварения на Украине, дядя Николай сначала наладил в Каменке полеводство, а затем построил сахарный завод. Дела начали быстро поправляться, и через несколько лет братья могли не только содержать себя и отца, но и откладывать капитал для рожденных в Сибири сестер и братьев.
В 1855 году, похоронив в Красноярске мужа, вернулась с детьми прабабушка моя Александра Ивановна. Поселилась она в Киеве и лишь летние месяцы проводила в Каменке. Все же в последней опять началось некоторое оживление. Давыдовская семья соединилась, Александра Ивановна собрала вокруг себя своих детей как родившихся до ссылки их отца в Сибирь, так и после нее. К этому времени из ее 13-ти детей оставалось в живых одиннадцать.