В пожаре 1812 года выгорела почти вся Басманная слобода, а этот дом остался нетронутым. Поэтому его называли «несгораемым домом». Потом здесь разместилась Басманная больница, о которой Георгий Федоров написал одноименную повесть.
В 1805 году усадьбу купил князь Михаил Голицын и разместил там картинную галерею. Современники называли ее «московским Эрмитажем в малом виде».
Но Голицын не смог содержать дом и в 1830-х выставил его на продажу. Усадьбу купил Попечительный совет заведений общественного призрения для устройства Сиротского дома. В 1837 году в усадьбе устроили домовую церковь Успения святой Анны. Ее апсиду можно увидеть с левой стороны главного здания.
В 1876 году в «несгораемом доме» Голицына разместилась Басманная больница для чернорабочих. Для этого архитектор А.А. Мейнгард перестроил здание. Басманная больница на 660 коек была одной из крупнейших в Москве. Ее сменила 6-я городская больница, но в 2015 году ее закрыли как нерентабельное учреждение.
Усадьба опустела, но здание охраняют. Оно остается в ведении Департамента здравоохранения, но будущее здания туманно.
