Это старейшая мечеть Москвы. Ее основали еще в 1744 году. После эпидемии чумы, когда большинство прихожан умерло, здание мечети приобрел купец Щукин. А в 1812 году ее уничтожил пожар.
Только в 1823 вспомнили о героизме воинов-мусульман в войне с Наполеоном, и общине разрешили построить мечеть во владении замоскворецкого купца Назарбая Хашалова.
Но было условие: здание внешне не должно было походить на мечеть. Поэтому до 1880 года Московская мечеть действовала под видом обычного одноэтажного дома. Лишь в 1881 году общине позволили перестроить здание по проекту Д.И. Певницкого с устройством минарета и купола. Также при мечети появились сиротский дом и медресе (мусульманское учебное заведение).
В 1937 году историческую мечеть закрыли, минарет — снесли, а последнего имама — Абдуллу Шамсутдинова — репрессировали и расстреляли.
В здании мечети разместились военкомат, мастерские и ДОСААФ. Во время Великой Отечественной войны здесь был центр формирования партизанских отрядов и сбора теплых вещей для фронтовиков.
В 1991 году общество «Байт Аллах» получило разрешение на бессрочное пользование зданием мечети. Началось возрождение общины. Большую роль в этом сыграл шейх из Аравии: на выделенные им деньги отреставрировали здание. И с 1993 года историческая мечеть действует вновь.