Сейчас в здании дворца располагается Президиум РАН (Ленинский проспект, 14), а в здании Орловского конного манежа — Минералогический музей РАН. Каменные парадные ворота Нескучного дворца украшены скульптурными группами, символизирующими изобилие (скульптор — Витали, 1846 г.).

Перед дворцом стоит фонтан, тоже работы Витали. Это часть московского водопровода — один из водоразборных фонтанов: он «переехал» сюда в 1936 году с Лубянской площади.

Напротив дворцовых помещений, на другой стороне Ленинского проспекта, расположен целый комплекс зданий, напоминающих дворец. Когда-то они были Медведниковской и Рахмановской богадельнями и больницей. После революции 1917 года весь комплекс стал Пятой Градской больницей, а с 1992 года — больницей, носящей имя святителя Алексия, митрополита Московского, и недавно полностью переданной Русской православной церкви.

Купцы Медведниковы перебрались в Москву из Иркутска. Они вели оптовую торговлю с Китаем и Аляской: ввозили из Поднебесной чай и ткани, обменивали у индейцев-алеутов разные материалы на меха и золото. Там купцы считались известными благотворителями: в Иркутске ими были устроены сиротопитательное заведение (приют) и банк, проценты из которого шли на поддержание этого детского приюта.

К 1850-м годам супруги Александра Ксенофонтовна и Иван Логгинович Медведниковы перебрались в Москву. В 1884 году Иван Медведников умер, а его вдова все средства стала употреблять на добрые дела: выстроила в Иркутске больницу, близ Звенигорода открыла приют для престарелого духовенства и церковь Казанской иконы Божией Матери — там и похоронили Александру Ксенофонтовну. По её завещанию всё состояние — более 5 миллионов рублей — должно было быть истрачено на благотворительность в Москве и в Иркутске. Построено было много, в частности, гимназия в Староконюшенном переулке, действующая и поныне. Больница и богадельня напротив Нескучного предназначались для лиц «христианского вероисповедания, без различия звания, пола, возраста».

Открылась больница в 1903 году.

Архитектор Сергей Соловьёв придерживался древнерусского стиля, он придал фасадам декор псковских храмов. Над входами были укреплены мозаичные изображения св.

Георгия Победоносца — покровителя Москвы. Мозаики выполнили ученики Строгановского училища. Они же изготовили резные металлические детали — флагодержатели, кронштейны водостоков и карнизов, кресты. Керамические плитки и диски для оформления стен были выполнены на знаменитом гончарном заводе Саввы Мамонтова «Абрамцево».

В 1908 году известные брат с сестрой Иван и Агния Рахмановы, купцы-старообрядцы, в память о своих сёстрах Александре и Эмилии и по их воле оставили Москве капитал в 133 тысячи рублей для строительства богадельни «для эпилептиков и идиотов», «к какому бы вероисповеданию они ни принадлежали». Двухэтажное здание было возведено также С. Соловьёвым в 1908–1909 годах рядом с медведниковской богадельней и имело отдельный вход.

Купцы Рахмановы занимались торговлей хлебом, лесом, пряжей. Слава благотворителей закрепилась за этой семьёй ещё с конца XVIII века: на средства Рахмановых были построены старообрядческая школа, дом бесплатных квартир, приют.