Малый Златоустинский переулок получил имя по Златоустинскому монастырю. О нем напоминают только двухэтажные корпуса бывших келий в доме 5 строение 1. А вот дом Матвея Казакова сохранился.
Архитектор хотел построить длинный каменный дом, крыльями выходящий на южную и северную стороны участка. Но монахи Златоустинского монастыря воспротивились: нельзя в Москве делать окна, выходящие на соседние владения. Тогда Казаков перестроил усадьбу, приспособив один дом для себя, а другой — для архитектурного училища и сдачи внаем.
В Малом Златоустинском переулке Казаков прожил с семьей 30 лет до 1812 года, когда его тяжело больного вывезли в Рязань. А после его смерти, семья архитектора была разорена и собиралась заложить дом, но младшая дочь Казакова, Елизавета, вышла замуж за надворного советника Ивана Татищева. Это спасло дом от продажи. Елизавета Матвеевна Татищева владела домом до 1836 года.
В разное время там размещались квартиры, трактир, мясная лавка, магазины. С 2000-х годов здание признано аварийным и пустует.
Сейчас дом Казакова готовят к реставрации. Строители укрепят конструкции здания и восстановят его облик по чертежам 1875 года.
...после революции дом Казакова «исчез». Его просто не оказалось в описях и справочниках XX века. Поиски пропавшего дома увенчались успехом только в 1953 году, когда исследователи нашли документы.