Альберт умер 14 декабря 1861 года. «Он испустил два или три долгих, но очень слабых вздоха, его рука сжала мою, и (о, как же мне больно писать это!) все, все было кончено. Я встала, поцеловала его милый, прекрасный лоб и издала горький, агонизирующий крик: „О, моя дорогая любовь!“ Потом я упала на колени в глубоком отчаянии, не в силах не только говорить, но даже плакать». Дневник, без сомнения, свидетельствует о глубине чувства Виктории, но показывает и то, что она даже в минуты «глубокого отчаяния» могла оценивать себя со стороны и контролировать свое поведение. По ее приказу в комнате, где умер Альберт, сделали уборку, но не тронули ни единой вещи — так осталось навсегда. Еще долго она спала с ночной рубашкой мужа в руках. Для принца выстроили мавзолей в Виндзоре и планировали создать национальный мемориал в Кенсингтоне. Виктория чувствовала себя покинутой не только как женщина, но и как королева — только теперь она поняла, как были важны для нее советы и осторожное руководство Альберта. На снятой в те дни фотографии королева одета в траур; она отвернулась от камеры и смотрит только на бюст покойного мужа. С тех пор она не снимала траур и на лице ее редко появлялась улыбка. Скорбь королевы была такой глубокой, что едва не разрушила саму британскую монархию.

Казалось, королева вовсе отошла от дел. У Бэкингемского дворца какие-то остряки вывесили плакат: «Помещение продается в связи с упадком в делах последнего владельца». Виктория, такая царственная и властная, вдруг обнаружила, что не может и шагу ступить без советов мужа и всякий раз спрашивает себя: «Что бы сделал Альберт на моем месте?» В 1863 году бедный Берти женился наконец на датской принцессе Александре, но королева даже не пошла на свадьбу; это время она провела на могиле мужа. В Европе начался новый кризис — Пруссия воевала с Данией, и Пальмерстон уже хотел посылать канонерки. Виктория отозвалась на это только фразой в письме дочери: «Я рада, что дорогой папочка избежал всех этих тревог и неприятностей». Пальмерстон умер в 1865 году, в возрасте 80 лет, почти одновременно с дядей Леопольдом. Лорд Джон потерпел поражение по вопросу дальнейшей избирательной реформы и уступил место лорду Дерби, который мрачно назвал свое назначение «прыжком в темноту». Королева оставалась безучастной.

Большую часть времени она проводила в Балморале с самыми верными людьми: конюшим Генри Понсонби (ему она строго велела «не слишком веселиться») и бывшим грумом Альберта шотландцем Джоном Брауном. 39-летний Браун был настоящим шотландцем — суровое мужественное лицо, открытые, хоть и грубоватые манеры, безукоризненная честность. В какой-то мере он возместил королеве потерю друга-мужчины, в котором она всегда нуждалась. Необычная фамильярность лакея со своей госпожой не осталась без внимания; как-то королева, выходя из комнаты, спокойно перешагнула через валявшегося на пороге пьяного Брауна. Бульварная пресса распространяла слухи о романе Виктории со слугой, даже об их тайном браке. Ее иронически называли «миссис Браун». Джон ездил с ней повсюду, и его присутствие вызывало некоторый шок при дворе, пока Виктория не сказала Понсонби: «Королеве нельзя диктовать или запрещать то, что служит ее успокоению». Были ли королева и слуга любовниками, сказать трудно; однако несомненно, что она нуждалась в Брауне так же, как некогда в Мельбурне. Она не позволяла ему жениться и покинуть ее, пила с ним виски, ездила в шотландские горы; перед смертью Виктория велела положить ей в гроб фотографию любимого лакея. Принц Уэльский и другие родственники терпеть не могли Брауна, и, став королем, Берти лично расколотил палкой несколько его статуй, расставленных в саду Виндзора.