Дом Прозоровского был одной из наиболее красивых построек города. Нередко его сравнивали с домом Пашкова.
В конце XVIII века М. Казаков перестроил это здание под апартаменты нового владельца — И.И. Прозоровского. Стоящий на видном месте дом Прозоровского был рассчитан на круговое обозрение.
Во время пожара 1812 года дом сгорел, сохранились лишь стены и внешний декор. Вскоре здание восстановили. А после объединения с соседним владением княгини В. Трубецкой дом попал к дворянке Е.П. Кичеевой. В 1876 году здание купила жена штабс-капитана С.А. Брянская.
Последним дореволюционным владельцем был коммерции советник и действительный статский советник Л.С. Поляков. Он сдавал дом в аренду.
После революции арендатором здания стало жилищно-строительное товарищество «Рабстрой». Оно решило сделать капитальный ремонт дома и направило запрос в Управление губернского инженера. Управление потребовало сломать здание и выстроить новое. «Рабстрой» тщетно пытался добиться разрешения на ремонт и в итоге начал работы.
В 1927 году, когда ремонт закончили, Управление составило акт о нарушении закона, и в 1930-х дом Прозоровского снесли.