Во время пребывания его здесь в царстве Лу умер временщик Цзи-хуань-цзы и на смертном одре завещал своему сыну Кан-цзы непременно вызвать Конфуция; но этот последний, по совету своих приближенных, пригласил вместо него ученика его, Жань-цю. После этого случая, огорченный и разочарованный в своих надеждах лично переустроить Китай по своему образцу и водворить в нем мир и тишину, он, как бы в минуту овладевшего им отчаяния, воскликнул: «Пора мне возвратиться домой! Пора мне возвратиться домой!»
Из Цай он отправился в Шэ (в провинции Хэ-нань). К этому времени (490-е гг. до Р.X.) относится встреча его на пути в Чу с одним чуским юродивым по имени Цзе-юй, который, проходя мимо телеги Конфуция, пел: «О, Фын-хуан! До какой степени упали твои качества! За прошлое не стоит укорять, но будущее еще поправимо. Оставь, оставь! Теперь участие в управлении опасно». При этих словах Конфуций вышел из телеги, желая поговорить с юродивым отшельником, но последний скрылся. По толкованию китайцев баснословная птица Фын со своей подругой Хуан появляется на земле тогда, когда на ней царствуют правда и мир. Приравнивая Конфуция к этой птице, юродивый отшельник хотел в своей песне сказать: ты забыл свою природу, стремясь к власти в годину смут и нестроения; но еще не поздно. Оставь свои честолюбивые намерения и скройся от мира, в котором участие в управлении грозит бедой!
После этого счастье, по-видимому, улыбнулось неугомонному старику – его пригласил к своему двору в Сян-ян чуский Чжао-ван; мало того, он, говорят, сам довез его до своей столицы и хотел пожаловать его большими землями в кормление, но этому воспротивился первый министр Лин-инь, представив князю всю опасность пожалованья Конфуцию больших земельных владений. Вот как передает этот факт Сыма-цянь в своих «Исторических записках». Когда шла речь о пожаловании Конфуцию обширных земель, то министр Цзы-си, обратясь к князю, сказал: «Есть ли между вашими посланниками при дворах князей такие, как Цзы-гун?» «Нет», – отвечал князь. «Есть ли между вашими советниками такие, как Цзы-лу?» «Нет», – был ответ. «А есть ли у вас такие правители, как Цзы-юй?» «Нет. Что касается Кун-цю, то он излагает систему управления трех чжоуских государей и уяснил себе деяния Чжоу-гуна и Шао-гуна. Если Кун-цю получит землю и будет иметь помощниками своих достойных учеников, то это не послужит к благополучию чуского дома».
Эта новая неудача заставила Конфуция снова возвратиться в Вэй, где Лин-гун уже умер, и наследник его Чу изъявил желание, чтобы Конфуций принял на себя управление, но он почему-то отклонил от себя эту честь. В это время Жань-цю, бывший военачальником у фамилии Цзи, отличился в войне с Ци, и Цзи-кан (или Кан-цзы), узнав от Жань-цю, что он научился военному искусству у Конфуция, вызвал последнего в Лу, для чего за ним было отправлено специальное посольство. Возвращение его имело место в 11-й год правления Ай-гуна (483 г. до Р.Х.), когда ему уже минуло 68 лет.
Усталый и разочарованный, Конфуций не искал уже более службы, зная по долгому горькому опыту всю бесполезность этого стремления, и занялся учеными работами: составил предисловие к «Шу-цзи-ну», привел в порядок обрядник, урезал древние стихотворения, оставив из трех тысяч всего триста пять и переложив все их на музыку, упорядочил самую музыку. На склоне лет он с особенной любовью занимался «И-цзином», «Книгой Перемен», на которую составил пояснения, кои, по-видимому, не вполне удовлетворяли его самого, о чем можно заключить из следующих слов его: «Если бы мне прибавили еще несколько лет жизни для окончательного изучения „И-цзина“, тогда бы я мог обойтись без больших ошибок» (Гл. VII. § 13).