В 1981 году у принцессы Анны родилась дочь Зара, а наследник все еще был холост. Эта проблема начинала серьезно занимать не только Елизавету, но и все английское общество. После Кембриджа принц Чарльз почти все время проводил на флоте. Его отношения с родными были хорошими, но не близкими. Вообще все дети королевы никогда не откровенничали с матерью — отчасти из-за ее вечной сдержанности, отчасти потому, что в королевской семье любые проявления чувств или жалобы считаются слабостью. Отец давно уже называл Чарльза «слабаком» — его раздражали безразличие принца к технике и военному делу. Такое отношение разделяла и принцесса Анна — брат не любил и лошадей. Гораздо ближе ему были бывшая няня Мейбл Андерсон и старый Маунтбэттен. Именно дядя Дики настоял, чтобы после Кембриджа Чарльз отправился служить на флот. Однако и там он не ужился и в 1976 году подал в отставку. Скоро Маунтбэттен погиб от рук ирландских террористов, и одиночество принца стало почти полным.

Постепенно одиночество подступало и к королеве. Все меньше оставалось в живых членов династии. В 1961 году умер дядя Елизаветы по матери Дэвид Боуз-Лайон, а в 1974 году настала очередь дяди по отцу, герцога Глостера; последние шесть лет жизни он был парализован и не мог говорить. Его смерть была ускорена гибелью в авиакатастрофе старшего сына Уильяма в 1972 году. Тогда же умер и герцог Виндзорский, который все это время жил в Париже вместе с Уоллис. Накануне у него обнаружили рак горла, и в мае 1972 года Елизавета навестила умирающего во время официального визита в Париж. Герцог почти не мог говорить, но проболтал с королевой целых полчаса. Она плакала — дядя был необычайно похож на ее отца. Девять дней спустя, 28 мая 1972 года, бывший Эдуард VIII скончался и был похоронен в Виндзоре. Его вдова посетила похороны и была встречена вежливо, но холодно. Она прожила еще много лет и умерла в 1986 году, постепенно распродав реликвии бурной молодости.

За исключением своей матери Елизавета осталась старейшим представителем королевской семьи. Ее супруг по-прежнему проводил много времени на официальных мероприятиях, но злые языки уверяли, что он посещает любовниц. Назывались даже имена, но Филипп очень аргументированно отпирался. Королева и не желала знать правду и немедленно уволила одну из фрейлин, которая попыталась открыть ей глаза на проделки мужа. Труднее было не заметить поведения принцессы Маргарет — ее поначалу счастливый брак с Армстронг-Джонсом скоро дал трещину. Маргарет прекрасно чувствовала себя в атмосфере светского безделья, но Энтони, как человек деятельный, рвался работать. Он постоянно ощущал зависимость от жены, которая снабжала его деньгами и предоставила апартаменты в Кенсингтонском дворце. Начались скандалы, и скоро супруги стали жить отдельно и заводить романы на стороне. Последней каплей стала связь 43-летней Маргарет с молодым плейбоем Родди Льюэлином; они не слишком скрывались, и скоро в газетах появились весьма откровенные фотографии. Родди откровенно паразитировал на влюбленной принцессе, и лейбористы в парламенте тут же поставили вопрос о лишении ее содержания. В 1978 году Энтони подал на развод, а скоро Родди бросил Маргарет, вытянув из нее все, что можно. Принцесса осталась одна и практически махнула рукой на личную жизнь, найдя утешение в детях. Дэвид и Сара очень полюбились королеве, которая ради них соглашается принимать во дворце и их отца, сохранившего титул графа Сноудона.