Усадьбу Сологуба как только не называли! И музеем средневековых достопримечательностей, и домом Ростовых.
Теперь это центральная часть усадьбы. В 1770-е владение перешло Долгоруковым. Они расширили усадьбу до Поварской улицы, надстроили главный дом мезонином, а по боковым границам построили 2 симметричных служебных корпуса с круглыми угловыми помещениями.
В 1812 году в доме квартировали французы, и пожар обошел его стороной. При следующем владельце, бароне М.Л. Боде-Колычеве, двор усадьбы получил замкнутую композицию. По отзывам современников,она стала «музеем средневековых достопримечательностей», среди которых наибольшую ценность представляли картинная галерея и коллекция оружия.
После М.Л. Боде-Колычева здание унаследовала его дочь. Она была замужем за художником Ф.Л. Сологубом. В их руках усадьба оставалась до октябрьской революции.
В советское время на фасаде здания даже повесили мемориальную доску, а в 1956 году во дворе установили памятник Льву Толстому работы Г.Н. Новокрещенова и В.Н. Васнецова. Но исследователи установили, что у Дома Ростовых другой прототип.
После революции в усадьбе Сологуба разместилась ВЧК. Здание оказалось неудобным, и в конце марта 1918 года Комиссия переехала на Большую Лубянку.
Позже в усадьбе жил А.В. Луначарский с семьей, размещались Литкомиссия ВЦИК, Комитет по делам национальностей и другие учреждения. В годы НЭПа квартиры в доме Сологуба сдавали внаем. А в 1940 году здесь прошло прощание с писателем М.А. Булгаковым.
...Сологуб был масоном, поэтому в стенах его усадьбы есть тайные ходы и замурованная комната с сокровищами, которые стерегут призраки бывших владельцев. Жильцы уверяли, что видели две черных комнаты с белыми звездами на потолке. А поэт Рукавишников обнаружил, что снаружи у здания на 2 окна больше, чем внутри. Так нашли замурованную комнату, где Сологубы перед эмиграцией спрятали фамильные ценности.