Этот дом принадлежал одному из «екатерининских орлов» — графу Владимиру Григорьевичу Орлову. Он был младшим братом екатерининского фаворита и активного участника переворота, благодаря которому Екатерина II взошла на престол.
Со двора к дому пристроили каменные двухэтажные «сени» с балконом, куда могли выходить танцующие из бальной залы. Этот штрих сделал дом уникальным, а Матвей Казаков включил его в Альбом лучших зданий города.
Известно, что здесь жил крепостной композитор Орловых А.Л. Гурилев. А после пожара 1812 года здание усадьбы восстановили под руководством О.И. Бове. Тогда появился третий этаж и барельефы на античные темы на фасаде. Считается, что их изготовили в мастерской итальянского скульптора С.П. Кампиони. Еще одну перестройку дом пережил в конце XIX века, но основная композиция сохранилась.
Затем здание перешло к дочери Орлова Софье Паниной. Ее дочь вышла замуж за князя Н. Мещерского. В их роде усадьба находилась до 1917 года.
В 1934-1970 годах бывшую усадьбу графа Орлова занимал исторический факультет МГУ. Сейчас здесь издательство МГУ.