Этот дом строили для девочек, но теперь там бывают исключительно мальчики.
Сначала оно располагалось в усадьбе Гагариных-Тютчевых в Армянском переулке. А в 1860-х по для училища построили новое здание в Малом Харитоньевском переулке — на месте Заборовского подворья Чудова монастыря.
Правила и программу обучения разработал сам митрополит Филарет. В училище преподавали чтение, письмо, русскую грамматику, катехизис, священную историю, всеобщую историю, арифметику, физику, алгебру, черчение, географию, космографию, церковное пение, рукоделие. В 1875 году программа пополнилась также французским языком, рисованием и уроками игры на фортепьяно. С этого момента сиротское училище превратилось в учебное заведение для детей бедного духовенства. Но принимали практически всех: например, здесь училась Мария Чехова — сестра писателя.
В 1917 году Филаретовское училище закрыли, а в здании разместилось одно из подразделения НКВД. Сейчас здесь работают службы Минобороты.