Теперь, когда его ближайший враг был мертв, Ёритомо мог вырваться с Идзу. Ширина северного перешейка, самой узкой части полуострова, всего около 10 миль. 11 сентября Ёритомо выступил с Идзу в Сагами. Через два дня к нему присоединился первый из союзников, собиравшихся под знамена Минамото, Миура.

Другим ближайшим сторонником Тайра был Оба Кагэтика. С той же стремительностью, которую Тайра проявили в битве при Удзи, он собрал своих людей и бросился в погоню. Соотношение сил было примерно десять к одному в пользу Тайра, когда 14 сентября они настигли Ёритомо в долине Исибасияма. Сражение при Исибасияма стало почти такой же катастрофой для Минамото, как и битва при Удзи. Опасаясь, что к Ёритомо придут подкрепления, Оба Кагэтика предпринял отчаянную ночную атаку на позиции Ёритомо. Исибасияма представляет собой узкую долину у берега моря, не оставляющую много места для маневра, не говоря уже о формальностях поединка. Непроглядная тьма, ветер и проливной дождь способствовали неожиданному нападению. Можно представить, с какой решимостью грубые провинциальные самураи приступили к своей смертоносной работе. Не было ни провозглашения родословных, ни вызовов на поединок достойных противников, только грязь и кровь жестокой битвы. К концу сражения небольшой отряд Минамото был практически уничтожен, но Оба Кагэтика дорого заплатил за преимущества ночной атаки, поскольку в разгар сражения Ёритомо успел скрыться в лесу. Много захватывающих историй было сложено о последующих пяти днях, когда враги охотились за Ёритомо в горах Хаконэ. Самая известная из них связана с Кадзивара Кагэтоки, который в то время был на службе у Тайра, а впоследствии стал одним из самых верных сторонников Ёритомо. Ёритомо спрятался в пустом древесном стволе, который Кадзивара послали осмотреть. Последний уже тогда втайне сочувствовал делу Минамото. Увидев там Ёритомо, он просунул в ствол свой лук и спугнул двух голубей, что вполне убедило остальных преследователей в том, что, кроме птиц, там никого больше быть не могло. Суть этой истории в том, что голубь считается посланцем Хатимана, бога войны и покровителя семьи Минамото.

Ёритомо в конце концов удалось добраться до берега моря у мыса Манадзуру, где с горсткой верных ему людей он сел на корабль и переправился в провинцию Ава, владения Минамото. Он прошел через Ава и вокруг того залива, который в наши дни называется бухтой Токио, собирая своих приверженцев. В течение месяца его небольшая свита превратилась в огромную армию, с которой он вступил в небольшую рыбацкую деревушку Камакура. Здесь он решил устроить свою ставку, и Камакура, которой суждено было дать свое имя полуторавековому периоду японской истории, стала центром восстания Минамото. У Ёритомо, однако, не было времени расслабляться, наслаждаясь столь неожиданно обретенной популярностью, ибо его разведка донесла ему, что большая армия Тайра выступила из Киото на восток. Это было в ноябре 1180 г., за месяц до того, как карательная экспедиция Тайра сожгла Миидэра. До сих пор Тайра не знали ни одного поражения, однако Тайра Киёмори не учел, что за несколько прошедших месяцев ситуация сильно изменилась. Во время восстаний Хогэн, Хэйдзи и, наконец, мятежа принца Мотихито Тайра сражались на своей территории. Теперь им предстояло иметь дело с восстанием в 300 милях к востоку от столицы, в исконных владениях Минамото.