Открывшийся в 1912 году на месте Колымажного двора Государственный музей изобразительных искусств имени А.С. Пушкина изменил жизнь Колымажного переулка. Музей стал обрастать новыми зданиями, и в одном из них разместился центр эстетического воспитания детей и юношества «Мусейон».
Эти земли принадлежали Милославским до 1779 года. При них сложился усадебный характер застройки: парадный двор перед деревянным главным домом, большой сад, хозяйственные постройки. Затем владение купил полковник Петр Кошелев.
Следующим владельцем особняка был статский советник П.И. Глебов. Он вошел в историю как друг семьи Пушкиных и крестный отец Льва Пушкина, младшего брата Александра Сергеевича. Судьба была благосклонна к Глебову, и пожар 1812 года обошел его усадьбу стороной.
В 1860-1870 усадьба принадлежала семье Кирьяковых, но они сохранили внешний вид владения без изменений. Лишь после 1881 года, когда участок купил Сергей Пастухов, в Колымажном переулке начались перестройки. В 1913-1914 годах архитектор Н.С. Шуцман пристроил к главному зданию корпус в неоклассическом стиле. Тогда же со стороны Колымажного переулка появилась ограда в стиле модерн.
После революции 1917 года в бывшей усадьбе Глебовых-Пономаревых разместились детские учреждения. Со временем здания обветшали и стояли заброшенными. В 1980-х годах ансамбль передали Пушкинскому музею.
Здания реконструировали, а деревянный усадебный дом разобрали и на его месте построили каменный в тех же габаритах и стилистическом оформлении фасадов. В январе 2006 года в бывшей усадьбе разместился Центр эстетического воспитания детей и юношества «Мусейон» при ГМИИ имени Пушкина.
...во время раскопок на территории усадьбы в 1989 году обнаружили остатки строений, сгоревших во время большого московского пожара 1737 года. Тогда «Москва от копеечной свечки сгорела». А начался пожар именно отсюда — от забытой у иконы свечки в доме Милославских.
