Деятельность Сайго с 1874 по 1876 год на практическом уровне представляла собой уход из политики. Но оторванность Сайго от политических дел в то же время была глубоким политическим заявлением. Основное возражение Сайго государству Мэйдзи было моральным. Он был недоволен нападением на Корею в 1875 году, поскольку оно не соответствовало конфуцианскому понятию чести. Точно так же Сайго не был настроен враждебно против Запада, но у него вызывали отвращение внешние атрибуты западной культуры. Судя по всему, токийское правительство стремилось перенять такие фривольности, как бальные танцы, но не торопилось подражать неподкупности западных правительственных чиновников. Сайго, как всякий хороший чиновник-конфуцианец, был слишком принципиальным для того, чтобы публично критиковать государство. Вместо этого он надеялся на то, что примером идеальной модели поведения для политиков станет его повседневная жизнь — простая, здоровая, самодостаточная и глубоко моральная. Этот образ морально обоснованного ухода от повседневных дел наполняет его стихи и письма. Например, в стихотворении, написанном в 1875 году в честь «Ёсино кайконся», он высказывает предположение, что лишь немногие способны оценить по достоинству МИССИЮ ЭТОЙ ШКОЛЫ:

Схожая тема появляется в стихотворении, восхваляющем прелесть одинокой рыбалки в Хинатаяма:

Эти стихотворения, наполненные атмосферой морального превосходства, отчасти позволяют понять, почему Окубо считал, что дзен-буддистская медитация делает Сайго невыносимо высокомерным. Но самоуважение Сайго основывалось на уверенности в том, что его уединение в сельской глуши является частью великого культурного проекта. Один из его учеников позднее вспоминал:

«Каждый день мастер Сайго с утра до вечера пропадал на охоте; натравливал своих собак, преследовал зайцев и пересекал горные долины. После того как, вернувшись домой, он совершал омовение, его дух казался заметно освеженным. С выражением абсолютного спокойствия он заявлял: «Я считаю, что разум благородного человека [кунси], всегда должен находиться в таком состоянии».

В китайской классике термин кунси означает человека добродетельного, культурного и честного, так что, говоря «благородный человек», Сайго имел в виду того, кто обладает благородным духом, а не благородным происхождением.

Довольство Сайго собственной добродетелью, конечно же, кажется малопривлекательным. Но, принимая во внимание, с каким почтением его регулярно приветствовали, удивительно, что Сайго удалось сохранить хотя бы часть своей учтивой скромности. Иваяма Току в своих воспоминаниях приводит поразительное описание Сайго в образе живой легенды. В 1875 или 1876 году Сайго отправился в Хинатаяма из Кагосима в сопровождении большой компании, куда входили его сыновья Торатаро и Торидзо, его жена Ито, мать Ито — Ёи и Току. Они планировали преодолеть весь путь на лодке, но по пути Ёи и Току укачало, и Сайго заметил, что им не по себе. «Сайго, — рассказывает Току, — был необычайно крупным мужчиной, но при этом он всегда замечал мелкие, второстепенные вещи». Сайго направил лодку к Кадзики, населенному пункту, расположенному в нескольких милях от конечного пункта назначения, и предложил пройтись пешком до Хинатаяма. Когда они проходили через город Кадзики, вспоминает Току, все жители высыпали на улицы и низко кланялись, «словно бы увидели перед собой процессию дайме». Сайго сталкивался с таким почитанием на всей территории бывшего княжества Сацума, и поэтому вполне понятно, что он начал думать о себе как о конфуцианском благородном человеке. Он решил, что будет критиковать правительство не словами, а своим молчанием.