Владелец жил в этом доме с голубятней на чердаке. Так как гонять голубей было любимым развлечением москвичей, возле дома Шустова собиралась толпа зрителей и участников. В их числе был и следующий владелец здания на Остоженке — И.Е. Красовский, который сломал этот дом и построил новый по собственному проекту.
Дом был выстроен каменный, трехэтажный, на две улицы. Внизу лавки, второй этаж под «дворянские» залы трактира с массой отдельных кабинетов, а третий, простонародный трактир, где главный зал с низеньким потолком был настолько велик, что в нем помещалось больше ста столов, и середина была свободна для пляски. Внизу был поставлен оркестрион, а вверху эстрада для песенников и гармонистов...
За трактиром прочно закрепилось название «Голубятня». В 1905 году здесь собирались активисты для подготовки всеобщей стачки. На втором этаже регулярно проходили петушиные бои до тех пор, пока общество покровительства животных не признало эту забаву жестокой. Здесь же «заседала» ассоциация «Чугунных шляп»: ее члены скупали все хорошее на аукционах и оставшуюся «дрянь» продавали по завышенным ценам. Это называли «надеть чугунную шляпу».
В конце концов трактир продали за долги, и в 1914 году дом перестроили. А 1 ноября 1917 возле него был смертельно ранен командир революционных отрядов Замоскворечья Петр Добрынин — в честь него назвали станцию метро «Добрынинская». Но это не спасло «Голубятню».
После революции в доме устроили коммунальные квартиры. В 1930-х здание надстроили, а в 2007— снесли. Вскоре на месте трактира «Голубятня» построили жилищно-административный комплекс «Остоженка 11».