Нет точных данных ни о дате постройки, ни об имени архитектора здания с угловой ротондой на пересечении Воздвиженки и Романова переулка. Но точно известны его владельцы.
Раньше на Воздвиженке стояло модерновое здание Военторга. Сейчас на его месте торгово-офисный центр, лишь отдаленно напоминающий предшественника.
В конце XIX века на Воздвиженке появился необычный особняк. Современники называли дом образцом безвкусия, а мать владельца говорила: «Раньше одна я знала, что ты дурак, а теперь вся Москва будет знать!». А сейчас это здание называют украшением Москвы.
Этот дом был известен в Москве как главный дом усадьбы князей Волконских или как «дом Болконских» из «Войны и мира».
Дом, где работает музей архитектуры, сам может быть экспонатом. Его построил Матвей Казаков в 1787 году для генерал-поручика П.Ф. Талызина на месте Аптекарского двора Милославского и подворья Печерского Псковского монастыря. Известно, что в разное время этими землями владели царевич Грузии Вахтанг, И. Писемский, И. Милославский, В. Долгорукий.
Эта улица вошла в историю опричниной. А еще именно здесь был Арбат в XVI веке.