Прилегающий район — Ваганьковский холм плавно переходит в низину Чертолье (изначально Черторье). Это ближе к станции метро «Кропоткинская». Давным-давно здесь протекал ручей Черторый: он каждую весну разливался, превращая пойму в непроходимое месиво с глубокими оврагами, словно чёрт рыл.
В XIV веке на холме стоял дворец великой княжны литовской Софьи Витовтовны, жены Василия I, сына Дмитрия Донского. Её праправнук Иван IV Васильевич, прозванный Грозным, включил Старое Ваганьково в обширный Опричный двор, а на холме расположил свою загородную усадьбу. Сюда царю было удобно ездить из Кремля, а главному пыточнику, Малюте Скуратову — из своих палат, располагавшихся на месте серого Дома на набережной. Частично его дом сохранился — уцелел нижний этаж, подклет, на котором новое здание — красное с белой лепниной — воздвиг в 165 7 году думный дьяк Аверкий Кириллов, первый царский ботаник. Рядом он построил церковь Николы на Берсеневке и разбил прекраснейшие сады. Погиб Аверкий при стрелецком бунте в 1682 году: ворвалась в его дом чернь и зарубила хозяина.
По легенде, и под домом Аверкия Кириллова, и здесь, в Чертолье, сохранились древние подвалы с прикованными к стенам скелетами замученных Малютой и Грозным невинных людей. Часть подвалов была обнаружена в начале 1930-х годов, когда сносили храм Христа Спасителя. Газеты писали, что был даже обнаружен склеп самого Малюты с надгробной плитой.
Набожный царь Алексей Михайлович, стесняясь нехорошего, связанного с чертями, названия и помня о страшном прошлом этого района, усердно возводил здесь монастыри и церкви. Главная улица стала называться Пречистенкой, — к ней мы выйдем, но несколько кружным путём. Именно на Пречистенке, в Калабуховском доме (№ 24), Михаил Афанасьевич Булгаков поселил профессора Преображенского.
При Василии Третьем здесь стояли усадьбы князей Кашина, Черкасского, Пожарского… Здесь был основан большой монастырь — Крестовоздвиженский, упразднённый в 1814 году и окончательно разрушенный при большевиках. До конца 1970-х годов сохранялись одни из ворот, стоявшие по проспекту Калинина. При строительстве перехода их тоже снесли; причём при рытье тоннеля был вскрыт культурный слой с древними гробами, старыми фундаментами, остатками вещей, — всё это сгребли в кучу экскаватором без исследования и вывезли на свалку.
Церковь в начале Нового Арбата не имела отношения к монастырю. Это храм Симеона Столпника, выстроенный при царе Фёдоре Алексеевиче, старшем брате Петра Первого, умном, образованном, но тяжело больном правителе. Именно в этой церкви граф Шереметев обвенчался с крестьянкой Ковалёвой.
При Грозном Воздвиженка оказалась в опричнине, и царь переехал жить во дворец князя Михаила Темрюковича. В XVII веке здесь жили бояре Стрешневы, Нарышкины, Милославские, на землях которых выстроили Аптекарский приказ, часть его зданий сохранилась в Староваганьковском переулке (№ 25). Этот государственный орган ведал полковой и дворцовой медицинской службой, организацией лечения. Он контролировал деятельность врачей и аптекарей. Жили здесь и бояре Морозовы — Борис Иванович и его брат Глеб с супругой, Феодосией Прокопьевной, старообрядческой святой, уморенной голодом в монастыре в Боровске.