В этой усадьбе писали научные труды и отбывали наказание. А ее история связана с именем Пушкина, Уварова, Шервуда, Твардовского.
Через год это владение перешло к доктору медицины, профессору анатомии, хирургии и акушерства Московского университета И.Ф. Эразмусу, автору первого на русском языке руководства по акушерству.
В 1812 году здание сгорело, но уже в 1819 его восстановили. В 1832 году в доме Долгоруковых жил заместитель министра народного просвещения и президент Императорской Академии наук С.С. Уваров. Тогда здесь часто бывал Пушкин. А в 1833 году в этой усадьбе под надзором полиции жил отставной генерал-майор, декабрист М.Ф. Орлов.
В 1860-е в усадьбе Долгоруковых начались публичные заседания Московского Археологического общества под председательством археолога А.С. Уварова. Уже тогда здесь начали проводить художественные выставки и благотворительные вечера. В 1870-е в усадьбе работали классы живописи и рисования под руководством В.О. Шервуда, а в 1880-е — редакция журнала «Зритель», где печатали рассказы молодого Чехова.
В начале XX века просветительская деятельность продолжилась, и в доме Долгорукова разместилось «Русское общество любителей фотографии в Москве». В 1913-1914 годах здание надстроили на один этаж и приспособили под издательскую деятельность. Сейчас здесь офисы.