В 1790 году, окончив курс со степенью доктора философии, граф Шемет, неожиданно для прочивших ему блестящее научное или политическое будущее друзей, вернулся в Жемайтию. Жил он тихо, понемногу приводя в порядок снова обветшавший Мединтильтас, а еще через год женился на панне Софии, дочери обедневшего соседа, к глубокому недовольству многих магнатов, прочивших за богатого вельможу своих дочерей. София, нежная и кроткая, но обладавшая незаурядным умом, горячо участвовала во всех начинаниях мужа, совершенствуя свое образование под его руководством.
Через год после свадьбы графиня подарила супругу наследника, которого назвали Войцехом. Но роды подорвали хрупкое здоровье пани Софии, и еще через полгода она скончалась от истощения сил. Это несчастье усугубило и без того меланхоличный нрав Яна Казимира, но не сломило его мужественный характер и волевую натуру. К родительским обязанностям граф относился серьезно и лично занялся воспитанием и образованием сына.
Михаил Клеофас прискакал в Мединтильтас в октябре 1794 года, запыленный, раненный в руку, подавленный поражением восстания и пленом Костюшко. Граф Шемет предоставил ему убежище, а после, когда Огинский оправился от раны, воспользовался своими связями, чтобы обеспечить другу возможность покинуть страну. Он не изменил своего мнения о перспективах возрождения Речи Посполитой, но высказанная Огинским надежда на то, что Великое Княжество Литовское когда-нибудь удастся восстановить под протекторатом Российской Империи, заронила зерно надежды в его сердце.
После того, как большая часть Литвы по новому соглашению отошла к России, а западные окраины Жемайтии вместе с родовым имением Шеметов — к Пруссии, граф Шемет отправился в Петербург. Ян Казимир надеялся к тому времени, когда Огинскому удастся вернуться из добровольного изгнания, завести там связи и помочь другу с осуществлением его плана.
В Петербурге Ян Казимир был принят при дворе и обласкан светом. Блестящее образование, недюжинные способности и светский такт графа, его открытый дом и покровительство искусствам, в особенности музыкальным, создали ему прочное положение в обществе и даже некоторое влияние. Сыну он по-прежнему уделял много времени и внимания и постарался дать ему лучшее домашнее образование, какое могла предложить Северная Пальмира.
От матери юный Войцех унаследовал хрупкую ангельскую красоту, но нравом, к изрядному беспокойству любящего отца, пошел в деда. Никакие наказания и внушения не могли остановить бесконечный поток шалостей мальчугана, а слуги, обожавшие «ангелочка», регулярно покрывали его проделки. Впрочем, тяга к приключениям не отбила у него охоту к занятиям, и успехи, которые он делал в науках, в глазах графа уравновешивали излишнюю вольность поведения.
Чтобы сгладить несколько двусмысленное положение графа Шемета, вступившего на русскую дипломатическую службу, несмотря на то, что родовое имение и титул его делали его прусским подданным, Войцех еще в младенчестве был записан в Лейб-гвардии гусарский полк. Хотя к тому времени подобная практика почти что прекратилась, для него сделали исключение, поскольку отец и помыслить не мог о том, чтобы сыну пришлось хотя бы день прослужить не в офицерском звании.