Еще несколько лет назад в церкви Иоанна Богослова, что под вязом (Иоанно-Богословском храме у Китайгородской стены), располагался музей истории Москвы, а в здании с трудом угадывался храм.
В черту города Иоаннно-Богословский храм вошел в первой половине XVI века — после строительства Китайгородской стены.
Современное храмовое здание построили и освятили в 1825-1837 годах. Двухъярусное здание в стиле ампир получило сразу шесть престолов — крупная цифра для приходской церкви. А в 1840-х построили новую колокольню. Благодаря вытянутому шпилю с крестом она почти сравнилась по высоте с куполом храма.
Считается, что название «под вязом» церковь Иоанна Богослова получила по огромному вязу, который рос перед алтарем еще во времена правления Екатерины II.
В 1925 году церковь закрыли, луковичные главки разобрали, а в интерьере установили межэтажные перекрытия для размещения экспозиций музея. Но в 2010 здание вернули церкви. Сейчас храм отреставрирован и снова действует.