В отличие от большинства своих коллег, Стеллецкий интересовался не надземной, а подземной архитектурой. Он стал одним из учредителей общества «Старая Москва», но тут же разошелся во мнениях с коллегами. Один из них даже упрекнул Стеллецкого в том, что тот «дерзает посылать археологов туда, куда раньше лишь каторжников посылали».
Поэтому в феврале 1912 года Игнатий Яковлевич организовал Комиссию по изучению подземной старины и сам стал ее председателем. В «Положении о Комиссии по изучению подземной старины», учредительном документе, говорилось: «Комиссия ставит своей задачей выявление и изучение памятников подземной старины, то есть предметов первобытной и бытовой археологии, скрытых в недрах земли временем или волей человека. Но особенно комиссию интересуют всякого рода подземные сооружения, бытовые и военные, сохранившиеся в недрах территории России. В этом отношении во главу изучения ставятся комиссией связанные с подземными замковые и крепостные сооружения, валы, городища, курганы, всякого рода пещеры, погреба, ямины, оседания и провалы почвы, клады и сопутствующие им явления…»
Стеллецкий начал собирать предания, легенды, слухи, свидетельства очевидцев и, если удавалось выяснить что-то конкретное, спешил начать раскопки. Результаты не заставили себя ждать: были обнаружены подземные ходы из Круглой башни китайгородской стены, из Тайницкой башни Симонова монастыря, основанного учеником Сергия Радонежского, современника Куликовской битвы. Кроме этого хода, чье точное местоположение вновь забыто, от монастыря из наземных сооружений ныне сохранилась лишь церковь Рождества Богородицы (близ «Автозаводской»). Там есть могилы героев Куликовской битвы Пересвета и Осляби.
Еще один подземный ход был раскопан Стеллецким на Большой Лубянке в том месте, где в начале XVII века находился двор и дом князя Дмитрия Пожарского, бывшего в 1611 году зарайским воеводой и одним из руководителей Первого ополчения. До нас дошло здание более поздней постройки, но в нем есть стены первой половины XVII века. Интересно, что в 1812 году дом принадлежал генерал-губернатору графу Федору Ростопчину, руководившему московским ополчением и эвакуацией ценностей из города. Считается, что именно сюда привезли раненого генерала Петра Багратиона, и именно в этом доме граф Ростопчин получил депешу о сдаче Москвы Наполеону. В 1842 году здание купил граф Орлов-Денисов, и с тех пор дом значится под его именем. Его точный адрес: ул. Большая Лубянка, дом 14, стр. 3.
Но вернемся к Стеллецкому. Конечно, окружающим он казался странным человеком. Он и его ученики раскапывали заброшенные подземелья без всякого специального оборудования, лишь со свечами и лопатами. Стеллецкий выезжал и в другие города, если узнавал, что там под землей нашли что-то интересное. Это позволило ему изучить «слухи» под псковской крепостной стеной, ход из замка магистра ливонского ордена Вальтера фон Плеттенберга в Риге (начало XVI века), подземные палаты в Торжке и т. д.
В начале 1910-х Стеллецкий серьезно увлекся поисками библиотеки Ивана Грозного. Эта легендарная Либерея изначально принадлежала византийским императорам и собиралась на протяжении многих веков. После падения Константинополя книжное собрание переместилось в Москву в качестве приданого византийской царевны Софьи Палеолог, бабушки Ивана Грозного.