Это единственный сохранившийся на Арбате дом XVIII века. Он принадлежал династии Бобринских. Основателем ее стал незаконнорожденный сын Екатерины II и Григория Орлова. По легенде, после рождения его завернули в бобровую шубу — отсюда и фамилия.
Бобринский владел усадьбой со второй половины 1820-х годов и до начала 1830-х. Он сочувствовал декабристам и выдал им 10 000 рублей на устройство тайной типографии за границей. Эти политические взгляды стали причиной секретного надзора со стороны полиции.
В конце 1840-х дом Хованских-Бобринских перешел в ведение Провиантской комиссии Военного ведомства, а затем его отдали под судебные учреждения. В 1917 году усадьбу национализировали, но оставили в ведении военных.
В 1983 году в доме Бобринских хотели открыть Музей декабристов, но эти планы не осуществились. Сейчас в здании размещается Военный суд Московского округа.