За два с половиной века этот особняк побывал дворянской усадьбой, доходным домом, типографией, студенческим общежитием и научно-исследовательским институтом.
Но заказчик не пожил в новом доме: 8 мая 1787 года он скончался. После этого участок перешел к родственнику Шестакова, и вдова нового владельца, Анна Лобкова, достроила усадьбу и создала парадные интерьеры.
В 1803 году она родила сына Сергея — вне брака, от богатого помещика Александра Соймонова. Отец «за весьма значительное денежное пожертвование» приписал мальчика к польскому дворянскому роду Соболевских. Сергей Соболевский вырос в этом доме и стал библиофилом, библиографом, автором едких эпиграмм. Он был дружен со Львом Пушкиным и с его братом Александром.
Путеводитель по архитектурным стилямК тому времени Анна Лобкова уже продала усадьбу князю Борису Голицыну, а сама осталась жить в одной из квартир. Голицын же перестроил усадьбу под сдачу квартир. Следующие владельцы также использовали дом как доходный. А в конце XIX века в доме открылась типография Московского городского общественного управления.
В 1920-х годах дом Лобковой приспособили под студенческое общежитие. А в 1960 в здание въехал Государственный институт искусствознания. Тогда особняк и его интерьеры отреставрировали. Сегодня в парадных залах проводятся художественные выставки.