Но вражда матери Сергея со свекровью и неприязнь к нелюбимому мужу все нарастали, и наконец с трехлетним Сергеем на руках Татьяна ушла из есенинского дома к своим родителям. Дед с бабкой взяли внука к себе на воспитание, а дочь послали в Рязань, зарабатывать на жизнь для себя и для ребенка. К тому времени Федор Андреевич разорился, две его баржи сгорели, остальные унесло половодьем. Другая бабушка Сережи – Наталья Евтеевна, в отличие от певуньи и плачеи Аграфены, была женщиной кроткой и набожной. «Первые мои воспоминания относятся к тому времени, когда мне было три-четыре года. Помню лес, большая канавистая дорога. Бабушка идет в Радовецкий монастырь, который от нас верстах в 40. Я, ухватившись за ее палку, еле волочу от усталости ноги, а бабушка все приговаривает: „Иди, иди, ягодка, Бог счастье даст“» (С. Есенин. Из «Автобиографии». 1924 г.).
Память ребенка сохранила картины жизни в доме, где часто собирались странники, слепцы, пели духовные стихи о Голубиной Книге, о райском вертограде, о Лазаре, о заступнике крестьянском Миколе, о Женихе Светлом, Госте из Града Неведомого. Сам полуграмотный, дед пытался учить внука читать, а по субботам и воскресеньям рассказывал ему по памяти притчи из Священной истории. Через четверть века внук с благодарностью вспоминал:
В повести «Яр» двадцатилетний Есенин изобразил деревенского дурачка, который катается на хворостине и задает землякам всяческие загадки.
« – Эх, мужик-то какой был! – сказал, проезжая верхом, старик. – Рехнулся, сердечный, с думы, бают, запутался… Дотошный был. Все пытал, как земля устроена… „Это, грил, враки, что Бог на небе живет“. Попортился. А може, и Бог отнял разум: не лезь, дескать, куды не годится тебе. Озорной, кормилец, народ стал. Книжки стал читать, а уже эти книжки сохе пожар. Мы, бывалоча, за меру картошки к дьячку ходили азбуки узнать, а болей не моги».
В отрывке угадываются какие-то приметы судьбы самого деда, которого обучали у дьячка за «овса три меры», и несколько самоотстраненные религиозные сомнения молодого поэта, и что, может быть, самое главное – явное соотнесение своего облика с обликом деревенского юродивого, рехнувшегося «с думы», то есть от слишком глубоких и дерзких мыслей. Многие воспоминания родных и земляков о детстве Есенина как бы сфокусированы на одном: «У Татьяны сын какой-то не такой», «не от мира сего», «он не такой, как мы. Он Бог его знает кто». Да и прозвище от деда Никиты – «монах» – время от времени мелькает в воспоминаниях земляков применительно к поэту.
А жизнь его в доме бабки и деда складывалась не просто. Вроде бы любила бабушка Наталья золотоголового внука, и нежности ее не было границ, мыла его по субботам, стригла ноготки, гарным маслом гофрила голову, расчесывала кудри деревянным гребешком. Но бабка – бабкой, а мать – матерью. Рос мальчонка без материнской любви.