«Многие люди прибывали из Кадзики, чтобы нанести Сайго визит в Хинатаяма. Но по какой-то причине Сайго не предпринимал никаких усилий для того, чтобы встретиться с ними. Это было тяжело для нас, поскольку мы знали, что они проделали долгий путь. Я не думаю, что такие глупые женщины, как мы, были способны понять хотя бы часть тех чувств, которые испытывал Сайго. Когда Сайго был дома один, он курил длинную трубку и полностью уходил в свои мысли, так что со стороны казалось, будто он спит. Только теперь, сложив все вместе, я понимаю, что, оставаясь один дома, он тихо размышлял об окружающем мире. Конечно же, я даже не могу себе представить, о чем он думал».

Согласно Иваяма, Сайго развлекался играми с местными детьми и изготовлением соломенных сандалий, которые он надевал на охоту. Постоянным взрослым спутником Сайго в Хинатаяма был Наоён, борец сумо, регулярно отправлявшийся вместе с ним на охоту и рыбалку.

Достоверность этого удивительного образа Сайго подтверждают и другие источники, такие, как письма британского врача Уильяма Уиллиса, который возглавлял медицинскую школу в Кагосима. В июле 1874 года Уиллис написал: «Я ожидаю, что сегодня ко мне в дом придет бывший главнокомандующий вместе со своими мальчиками (маленькими друзьями), и собираюсь показать им, как волшебный фонарь отбрасывает разнообразные тени. Надеюсь, что это их позабавит». Это мало похоже на поведение человека, готовящего к сражению повстанческую армию. Письма Сайго за тот период тоже свидетельствуют о том, что он добровольно отошел от политики. В апреле 1875-го в письме своему двоюродному брату Ояма Ивао Сайго благодарит его за то, что тот прислал ему собачий ошейник, а затем просит прислать еще шесть таких же ошейников, но только на три с половиной дюйма длиннее. Затем Сайго мимоходом замечает, что, судя по всему, Пруссия и Франция приближаются к войне. Сайго оставался в курсе последних событий во внутренней и международной политике, но уделял значительно больше внимания своим охотничьим собакам.

Регулярное участие Сайго в общественной жизни ограничивалось его связью с «Сигакко», системой частных школ, основанной в 1874 году. Эти школы создавались для того, чтобы направить в конструктивное русло энергию молодых солдат, которые в 1873-м ушли в отставку вместе с Сайго. «Сигакко» имела два основных отделения: пехотное, которое возглавлял Синохара Ку-нитомо, и артиллерийское, где руководил Мурата Син-пати. Учебный план был сконцентрирован на военной подготовке и китайской классике. Изначально «Сигакко» посещали менее восьми сотен студентов, но за последующие два года эти школы стали влиятельным институтом в общественной и политической жизни Сацу-ма. В каждом округе «Сигакко» были основаны свои школы, дополнявшие существующую школьную систему. Образовательная программа напоминала традиционные годзу. после полудня, когда обучение в годзу заканчивалось, отделения «Сигакко» собирали местную молодежь для учебы и военных занятий, а вечером ученики собирались снова для дебатов.

Сайго был широко признан как политический лидер «Сигакко», и провозглашенные им принципы были вывешены в каждой школе. Но активное участие Сайго ограничивалось двумя школами, не входившими в основную систему «Сигакко»: «Сётэн-гакко» и «Ёсино кайкон-ся». Школа «Сётэн-гакко», основанная в Токио в 1873 году под названием «Сюгудзуки», была посвящена солдатам, павшим в «войне Босин». Она получала финансовую поддержку от ветеранов Сацума, которые передавали в дар школе свои награды за доблестную службу; например, ежегодный вклад Сайго составлял 2000 коку,