Творческий клуб работников архитектуры и строительства «Центральный дом архитектора» появился в 1932 году, а в 1939 он пополнился рестораном. При этом внутреннее убранство особняка сохранилось почти без изменений.
Сначала клуб разместился в особняке потомственной почетной гражданки Анны-Луизы Леман. Его построил А.Э. Эрихсон в 1896 году в стиле неоготики. Внутри особняк был отделан богато и в разных стилях: классическом, барокко, готическом. А через несколько лет после строительства дом купил Петр Базилевский. Но уже в 1917 году здание национализировали и передали под размещение различных ведомств. В 1937 сюда въехал Союз архитекторов СССР.
В 1939-1941 годах А.К. Буров и Д.И. Бурдин пристроили к особняку новое здание со зрительным залом и рестораном. Его прикрыл приставной фасад-декорация по проекту Бурова и накладной майоликовый картуш с изображением схемы генерального плана Москвы по эскизу В.А. Фаворского. В 1975 к комплексу пристроили еще один корпус по проекту Б.И. Тхора.
В 1949 году Гранатный переулок переименовали в улицу Щусева по расположенному здесь Союзу архитекторов СССР. В 1993 историческое название вернули, но сохранился памятник Щусеву работы И. Рукавишникова, открытый в 1980 году во дворе Центрального дома архитекторов.
