В XIX веке тут были владения московского генерал-губернатора князя Д.В. Голицына. Главный дом со стороны Большой Дмитровки со временем перестраивали и достаивали многие архитекторы. Последним свой след оставил Федор Шехтель.
В 1904 году об этом доме узнала вся Москва, так как тут начал собираться литературный кружок под руководством поэта В.Я. Брюсова. Здесь были ресторан, библиотека, концертный зал, картинная галерея. А частыми гостями дома были И.А. Бунин. В.В. Вересаев, Н.Д. Телешов, Л.В. Собинов, Н.К. Рыбаков, В.И. Немирович-Данченко, А.И. Южин, М.Н. Ермолова, В.О. Ключевский, В.В. Маяковский.
А жилье у Вострякова снимали М.П. Щепкин, В.Ф. Снегирев, А.К. Ильинский, М.М. Блюменталь-Тамарина.
Также в этом доме работали редакция газеты «Вечерняя Москва» и издательство «Московский рабочий». А сейчас это уже перестроенное в 1926-1927 годах здание для Генеральной Прокуратуры РФ.