Строили это здание для боярина Василия Нарышкина. Но прославилось оно лишь при Петре I, когда тут открылась гимназия пастора Эрнста Глюка.
Через 2 года, по распоряжению Петра I, в усадьбе разместилась мужская гимназия пастора Глюка. Это было одно из первых казенных светских учебных заведений в России.
Для общей всенародной пользы учинить на Москве школу на дворе В.Ф. Нарышкина на Покровке, а в той школе б Яр и окольничьих и думных и ближних и всякого служилаго и купецкаго чина детей их, которые своей охотою приходить и в школу ту записываться станут, учить греческого, латинского, итальянского, французского, немецкого и иных розных языков и философской мудрости.
Сначала у пастора Глюка набралось лишь 28 учеников, но вскоре гимназия стала пользоваться большой популярностью. И если в 1704 году для нее отводили лишь главное здание палат, то уже в 1706 гимназия заняла весь участок.
После смерти Глюка первоначальную программу обучения изменили: теперь внимание уделяли лишь изучению иностранных языков. Популярность гимназии стала падать, и в 1714 году она закрылась.
Отсюда же Алексею Михайловичу сосватали Наталью Нарышкину. Поэтому усадьбу Нарышкина в народе называли «домом, откуда берут вторых жен».
Гимназия Глюка уехала из здания еще после пожара 1707 года, и с 1708 по 1738 бывшая усадьба В.Ф. Нарышкина находилась во владении Саввы Рагузинского. Он перестроил здание — придал ему П-образную форму.
Затем усадьба много раз переходила из рук в руки. Владельцы нередко перестраивали здание в духе времени, но в нем до сих пор можно узнать палаты XVII века.
Для нее дому придали ампирные черты и пристроили дополнительный одноэтажный корпус. А с 1889 по 1912 годы в главном здании усадьбы размещалась Елизаветинская женская гимназия.
Сложившаяся до революции планировка дома сохранялась до 1938 года. Затем на внутренней территории построили типовое двухэтажное здание детского сада.
Сегодня помещения усадьбы сдают коммерческим организациям.