В этом доме вырос прототип Митрофанушки из фонвизинского «Недоросля», юный Тургенев жил у своей тетки, а Чайковский сочинял шутливые стихи.
После его смерти усадьба перешла его сыну с супругой. Они прожили в ней до 1750-х годов.
В 1761 году усадьбу купил подпоручик конного полка Николай Оленин и его супруга Анна Семеновна, урожденная княжна Волконская. Дом записали на нее. Тогда в усадьбе устроили роскошный сад. А в 1763 году у Олениных родился сын Алеша. По легенде, он до девятнадцати лет слыл на всю Москву невеждой — и Денис Фонвизин сделал его прообразом Митрофанушки из «Недоросля». После прочтения пьесы, молодой Оленин взялся за ум, начал прилежно учиться и даже стал членом Российской академии и Академии художеств.
Путеводитель по архитектурным стилямВ 1830-х годах в усадьбе поселился герой Бородинской битвы Николай Теплов. А в 1832-1833 годах часть усадьбы снимала семья И.С. Тургенева.
В 1873 году владельцем дома стал граф Владимир Шиловский, ученик и друг Чайковского. Петр Ильич нередко бывал у него в гостях и как-то раз сочинил шутливое стихотворение.
Ты помнишь ли, как Кисловским проулком
На Знаменку свой направляя бег,
Резвились мы, подобно сдобным булкам,
Попавшим с печки прямо в мокрый снег...
В 1894 году он заказал у архитектора Павла Самарина новый усадебный дом. Именно тогда на крыше поселилась парочка крылатых горгулий.
После 1914 года в особняке разместилось издательство «Искусство». Оно оставалось здесь до 1960-х. Затем в доме расположился консульский отдел посольства Японии.
После реставрации усадьбы в 2011–2013 годах здание передали под резиденцию посла Швейцарии.