Напротив церкви иконы Божьей Матери «Всех скорбящих Радость» стоит особняк купца Афанасия Долгова. Его построили в 1770-х годах по проекту Баженова.
Сначала архитектура здания была проста: не было ни портика, ни фронтона. Окна двух этажей объединяли плоские вертикальные ниши. Восточный фасад дома обрамляла белокаменная полукруглая лестница, спускавшаяся в сад.
В 1812 году сгорел трехэтажный главный дом, северный и два южных корпуса. Здание восстановили, украсили шестиколонным портиком и лепниной. Так усадьба Долгова стала одним из лучших образцов московского ампира. А в середине XIX века особняк приобрел купец И.П. Жемочкин, торговавший кожей и приводными ремнями.
Сейчас в здании размещается Институт Латинской Америки Российской академии наук.
В1980-е в связи со строительством метро снесли хозяйственные корпуса усадьбы Долгова, а на их месте появился новодел. Начали даже строить бизнес-центр, но здание признали памятником архитектуры. Стройку остановили и потребовали восстановить утраченную часть усадьбы.