Символично, что в Культурном центре Вооруженных сил РФ имени Фрунзе располагался сначала приют для неимущих офицеров, инвалидов русско-турецких войн, а затем — училище ордена Святой Екатерины для дочерей неимущих дворян (подобный Смольному институту).
В 1758 году здесь появилась загородная усадьба графа Владимира Салтыкова. Ее построил Дмитрий Ухтомский в стиле барокко. Усадьбу окружал огромный сад. Но вскоре дела владельца ухудшились.
В доме двора Ея Императорского Величества камер юнкера, графа Алексея Володимеровича Салтыкова, состоящем в приходе Иоанна Воина, что на Убогом дому, желающие покупать априкосовыя, миндальныя, померанцевыя, апельсиновыя и прочия с плодами и без плодов оранжерейныя деревья и разныя цветы, да порцелиновый сервиз, все оное могут видеть в означенном доме, а о цене осведомиться у самого графа Салтыкова или у служителя Егора Желыбина.
В итоге владение Салтыковых купила казна и разместила в нем инвалидный дом для неимущих штаб и обер-офицеров русской армии. Это заведение оказывало материальную помощь неимущим и поощряло офицеров, всю жизнь прослуживших в армии.
Но уже в 1802 году Инвалидный Дом перевели в другое место, а в этих зданиях обосновался Екатерининский институт благородных девиц. Его открыли при непосредственном участии императрицы Марии. В институт принимали девочек из бедных дворянских семей и семей военных. Обучение в одном классе длилось 3 года, при этом девушек воспитывали в строгости: вставали в 6 утра, ложились в 9 вечера, весь день проводили в учебе. Выпускницы Екатерининского института имели большие шансы попасть ко двору, например, в качестве фрейлины.
Новые цели требовали изменений в архитектурном облике здания, и усадьбу в 1802-1807 годах перестроили по проекту И.Д. Жилярди. Он также добавил к зданию флигели. Но вскоре потребовалось расширить здание Екатерининского института, и в 1818-1827 годах его перестроили под руководством Д.И. Жилярди и А.Г. Григорьева в стиле ампир.
В 1918-1928 годах здание отреставрировали по проекту С.А. Торопова. Тогда же появилась парадная лестница.
В 1925 вышло постановление Революционного Военного Совета увековечить память Михаила Фрунзе постройкой в Москве Центрального Дома Красной армии. На строительство нового здания тратиться не стали, а решили разместить Культурный центр в Екатерининском институте. 28 февраля 1928 года Культурный Центр Красной армии открылся. С 1997 года он носит имя Фрунзе.
Известно, что в Культурном Центре до 1965 года работал Музей Красной армии и флота. Затем его переименовали в Центральный музей Вооруженных сил СССР. А в период Великой Отечественной войны отсюда на фронт направлялись артистические бригады театров, филармоний, концертно-гастрольных объединений.
Сегодня Культурный центр Вооруженных сил имени Фрунзе включает военно-художественную студию писателей, библиотеку, планетарий в Екатерининском парке, несколько отделов и концертных залов (Краснознаменный зал, Каминный зал, Киноконцертный зал, Малахитовую гостиную, Золотую гостиную, Красную гостиную, Белую гостиную, Камерный зал).
...в советское время на здании была доска со словами: «Я вижу всюду заговор богачей, ищущих своей собственной выгоды под именем и предлогом блага». Но она исчезла.