Поспешив вернуться в Петербург, он был остановлен на границе монаршим запретом. Опасаясь ссылки в Сибирь или чего-нибудь похуже, князь почел за благо переждать грозу в одном из своих имений. Императрица и вправду потребовала от Григория сложить с себя все должности, но Орлов собрался с духом и возроптал на неблагодарность высочайшей любовницы. Екатерина не устояла перед хорошо разыгранным необузданным гневом и отпустила любезного друга с миром.
Васильчиков продержался около двух лет, а затем, как снег на голову, получил приказ немедленно отправиться в Москву и ожидать дальнейших распоряжений. Опала была внезапной и бесповоротной: Васильчикова даже не допустили для объяснений. Зато в Москве он получил от государыни богатые подарки и ежегодный пансион в 20 тысяч рублей. Орлов же, похитивший из Италии княжну Тараканову26, вновь ненадолго вошел в фавор. Однако двор роптал, всеобщее недовольство принимало угрожающий характер, и Екатерина принуждена была смириться. Как ни интриговали и ни скандалили Орловы, звезда их закатывалась. К тому же инициативой овладел энергичный гвардии поручик Григорий Александрович Потемкин. Братья поняли, какая серьезная опасность угрожает их могуществу. Они были готовы на все, даже на убийство, но предпочли действовать без излишнего риска. Бравого поручика подпоили, затеяли пьяную ссору, и Алексей Орлов выбил Потемкину глаз бильярдным кием. Скандал получил огласку, братья постарались, чтобы он дошел до слуха государыни. Удар поразил сразу двух зайцев: кроме блестящей внешности, Потемкин лишился и расположения императрицы. Екатерина выразила сожаление, что ее любимец позволяет себе нескромные намеки, и удалила его от двора. Потемкину пришлось ретироваться в Смоленск. Но женское сердце отходчиво: спустя некоторое время опальному разрешили вернуться. Императрица примирилась с увечьем любовника и вознаградила другие его отменные качества. Вскоре Потемкин совершенно вытеснил Орлова, сделался генерал-адъютантом и переселился в дворцовые апартаменты.
Своей алчностью и беспринципностью светлейший князь Потемкин-Таврический обнаружил немалое сходство с маркизой Помпадур. Когда он почувствовал, что его собственные силы убывают, то нашел способ не терять влияния на императрицу. Едва Екатерина приблизила к себе секретарей государственной канцелярии Завадовского и Безбородко, Потемкин тут же взял их под патронаж, сохранив статус первого любовника. Список царских фаворитов, конечно, не ограничивался только этими персонажами. Из оставивших о себе память можно указать еще Ланского, Мамонова, который попал в опалу, будучи застигнут в павильоне с княгиней Щербатовой, потомка татарского рода Зубова, называемого иногда екатерининским Дюбарри... Несмотря на царские щедроты, многие из них кончили не лучшим образом. Григорий Орлов умер душевнобольным, Потемкин едва дотянул до 52 лет, Ланской прожил еще меньше...
Порок не признавал государственных границ и не нуждался в переводчиках: вся Европа пустилась в погоню за удовольствиями. В парижском Пале-Ройяль подчинялись единственному призыву: «Будем развлекаться!» Великосветские распутники уже достаточно пресытились, но еще отнюдь не устали. Скучающий король поинтересовался однажды у госпожи д'Эспарбэ: «Вы, что же, спали со всеми моими подданными?» — «Что вы, сир!» — «Но у вас был герцог Шуазель?» — «Он так могуществен...» — «А маршал Ришелье?» — «Он так остроумен...» — «А Монвиль?» — «У него такие красивые ноги...» — «Но, черт возьми, разве герцог Омон обладает хоть какими-нибудь из этих достоинств?» — «О, сир! Он так предан вам!» Скандальную известность приобрел кружок, группировавшийся вокруг племянника короля, будущего регента Франции герцога Филиппа Орлеанского. Насмешники сочинили эпитафию для могилы его матери: «Здесь покоится мать всех пороков».