Балы и музыкальные четверги, проходящие в городской усадьбе В.А. Всеволожского, знала вся Москва. В 1875 году здесь разместился Политехнический музей. Тут же проводил свои опыты изобретатель лампы накаливания П. Яблочков.
После пожара 1812 года здание восстановили и надстроили третьим этажом. С фасада дом Всеволожского был украшен колоннами, во двор шла галерея с террасой, сада не было, а до Остоженки тянулись хозяйственные постройки.
Всеволожский был богатым музыкантом-любителем — у него был даже собственный оркестр крепостных музыкантов, один из лучших в России.
От Всеволожских усадьба перешла к купцу Степанову. Новый владелец перестроил здание в стиле псевдоклассицизма. Тогда исчез герб Всеволожских, а в доме разместился яхт-клуб и жилые квартиры.
Сейчас здание принадлежит военным организациям.
...про хлебосольного Всеволожского говорили, что он живет очень открыто — у него 2 огромных дома в Москве без крыш стоят.