История этого дворца трагична. Василий Баженов начал строить его по указу Екатерины II в 1775 году. Большой дворец должен был стать частью ансамбля Царицыно. Он состоял из трех отдельных корпусов в готическом стиле. А когда десятилетнее строительство подходило к концу, императрица бегло осмотрела постройку и приказала ее разобрать.
Открывшийся в 1912 году на месте Колымажного двора Государственный музей изобразительных искусств имени А.С. Пушкина изменил жизнь Колымажного переулка. Музей стал обрастать новыми зданиями, и в одном из них разместился центр эстетического воспитания детей и юношества «Мусейон».
В 1956 году в художественной жизни страны произошло несколько значимых событий. Во-первых, широко отмечали юбилей Третьяковки. Во-вторых, Всесоюзный съезд советских художников решил расширить современные выставочные залы. В-третьих, Никита Хрущев осмотрел выставку в Манеже и публично выразил сомнение в сексуальной ориентации скульпторов и живописцев.
Центральный музей Вооруженных сил РФ открылся в 1919 году, но на улицу Советской Армии он перебрался не сразу.