В 1760-е по инициативе И.И. Бецкого всю территорию к югу от Солянки передали под устройство Воспитательного дома. Здесь подкидышам и незаконно рожденным детям давали не только пищу и кров, но и образование и профессию.
Здание перестраивали и расширяли при участии Джованни и Доменико Жилярди, А.Г. Григорьева, М.Д. Быковского. В комплекс Воспитательного дома также входит бывшее Николаевское сиротское училище и въездные ворота с Солянки со скульптурами работы И.П. Витали «Воспитание» и «Милосердие».
Здание строили из камня разбираемой стены Белого города на деньги жертвователей. Известно, что Екатерина II передала 100 000 рублей разово и ежегодно отчисляла еще 50 000, П.А. Демидов передал 200 000 рублей, а сам Бецкой внес 162 995 рублей. Возможно, эти щедрые дары связаны с появлением огромного количество незаконнорожденных в дворянской среде.
Воспитательный дом постоянно пополнялся. При нем даже был родильный приют, где личность матери сохранялась в тайне. При желании женщина даже могла рожать в маске, чтобы точно сохранить анонимность. Здесь же заложили основы педиатрии, ведь многие попадающие в приют младенцы были больны.
Для пополнения бюджета Совет имел право проводить ссудно-залоговые операции, печатать и продавать игральные карты. Именно в Опекунском Совете Пушкин заложил Болдино, а гоголевский Чичиков намеревался заложить купленные «мертвые души».
В стенах Воспитательного Дома обучали бухгалтерии, аптекарской и хирургической науке, столярному, слесарному, каретному, кузнечному, седельному, портному, башмачному, оловянному, медному, золотому и серебряному мастерству, типографскому и переплетному делу, хлебному, токарному, часовому, гравировальному, перчаточному ремеслу. Но со временем Воспитательный дом перешел к общему образованию: в 1807 году открылись Латинские классы, следом Повивальный институт и Классические курсы для подготовки к поступлению на медицинский факультет университета, а также Французские классы для будущих гувернанток. Педагоги жили здесь же.
В сентябре 1812 года оставшийся в Москве для сохранения здания директор Иван Тутолмин добился у Наполеона караула из 12 солдат. В здании разместили раненых, а во внутреннем дворе погребли 2 500 умерших здесь французов.
После революции 1917 года приют закрыли, а здания заняли профсоюзные учреждения. Был здесь, например, Дворец Труда, где на втором этаже в редакции газеты «Гудок» работали Булгаков, Ильф и Петров. Отсюда «дортуар пепиньерок» в «Дьяволиаде» и «Станок» в «Двенадцати стульях». Сейчас в здании бывшего Воспитательного дома располагается Военная академия РВСН, а в Опекунском совете — Российская академия медицинских наук.
...уже в день закладки здания Воспитательного дома сюда принесли 19 младенцев. Первых двух назвали в честь высочайших покровителей Екатериной и Павлом, но они вскоре умерли.
...Демидов своими чудачествами нередко вводил в недоумение Опекунский совет. Например, когда Совет крайне нуждался в деньгах, обещал дать взаймы 20 000 рублей, но вместо денег прислал 4 скрипки.
...сначала на скульптуре «Милосердие» женщина одной рукой держала ребенка, а в другой — сердце. В советское время вандалы откололи руку. Ее восстановили, но уже без сердца. Вдобавок руку повернули так, что кажется, будто женщина хочет отшлепать малыша. Вот такое было представление о милосердии в советское время.