Но в 1793 году Шереметев затребовал Норыгина к себе в Кусково. Какой разговор состоялся между помещиком и его крепостным - неизвестно, но, судя по всему, Норыгин понял, что его мечте не суждено осуществиться. Граф не хотел давать вольную талантливому мастеру, хотя за него просила жена графа, сама бывшая крепостная, Прасковья Ивановна Кузнецова-Горбунова. И тогда Норыгин вместе с работавшими на том же заводике Волоскова во Ржеве сыном Иваном и Али-Мирадом бегут из России - сначала в Бухару, а затем перебираются в Персию. Здесь, в Кермане, Норыгин и Али-Мирад стали совладельцами ковровой мануфактуры. Она просуществовала сравнительно недолго, но оставила по себе память в мировом ковроделии. Всего, по мнению большинства специалистов, ею было выпущено не более сорока или пятидесяти ковров, однако каждый из них был своеобразным шедевром по яркости, блеску, чистоте красок и разнообразию тонов. Это была вершина ковроделия. Достаточно сказать, что и тогда и позднее норыгинские ковры ценились любителями значительно дороже лучших персидских антиков XV - XVI веков. Большая их часть была приобретена для дворцов шаха, но восемь или десять оказались в Европе. Два своих ковра Норыгин прислал в дар Кузнецовой-Горбуновой, к которой до самой своей смерти испытывал глубокое уважение и симпатию. Один норыгинский ковер был приобретен непосредственно в Кермане русским дипломатом Агонесовым. Этот ковер в дальнейшем и оказался у Мирекура, который сторговал его в Петербурге у внука дипломата. По слухам, Мирекур, приняв монашество, подарил его настоятелю монастыря.

Скончался Норыгин от холеры в 1795 году и был похоронен в Кермане. Али-Мирад пережил его всего на несколько месяцев. После их смерти мануфактура, перешедшая по наследству к Ивану Норыгину, захирела, а затем и полностью прекратила свое существование. Норыгин-младший, который унаследовал дело отца, но не его таланты, прожил за границей много лет и вернулся в Россию незадолго до Отечественной войны 1812 года уже свободным человеком (вольную ему и его отцу Шереметев подписал по просьбе Кузнецовой-Горбуновой за несколько дней до ее смерти).

Приехал Норыгин-младший с одним неказистым сундучком, но в нем оказалось достаточно денег, чтобы купить во Ржеве в Князь-Димитровской части города, расположенной по левому берегу Волги, двухэтажный каменный дом и открыть лучшую в Князь-Димитровской стороне мясную лавку.

Ни к красильному делу, ни к коврам сын Норыгина никакой склонности не имел. Тем не менее среди его гостей было много красильщиков и тех, кто занимался коврами, в том числе и Алексей Волосков, владелец известного на всю Россию ржевского красильного завода. Объяснялось это не столько уважением к памяти Варфоломея Акимовича Норыгина, сколько тем, что поговаривали, будто в сундучке, привезенном Иваном в родной Ржев, были не только деньги, но и сафьяновый портфель, где хранились записи его покойного отца. Охотников заполучить эти записи было очень много, значительно больше тех, кто позднее хотел узнать секрет волосковского кармина. Но и тем, и другим в одинаковой степени не повезло.