По стилистике это здание близко к французским замкам эпохи ренессанса и барокко. Известно, что здесь собиралась самая влиятельная в России дворянская масонская ложа.
Затем дом перешел графине А.А. Олсуфьевой, и поэтому в некоторых источниках здание упоминается как «особняк Олсуфьева». По преданию, этот дом посещал император Александр III. Олсуфьева владела зданием до революции 1917 года, после чего вынуждена была уехать в эмиграцию.
В первые советские годы в бывшем особняке Святополк-Четвертинского проходили заседания Академии вольной духовной культуры, которые вел философ Н.А. Бердяев. Позже в этом здании поселилась городская беднота. А в 1925 году дом занял отдел детских учреждений при ВЦИК.
С 1932 года по просьбе Максима Горького бывший особняк Святополк-Четвертинского передали Центральному дому литераторов (ЦДЛ). Это было легендарное место — здесь в разные годы бывали все советские и русские писатели, его посещали именитые гости из-за границы — Марлен Дитрих, Жерар Филипп, президент США Рональд Рейган и многие другие. Сейчас в особняке Святополк-Четвертинского работает ресторан «ЦДЛ».
...Александр III в доме Олсуфьевой споткнулся и сломал ногу, поднимаясь по узенькой лесенке. С тех пор по ночам в ЦДЛ происходят странные вещи: неожиданно зажигается хрустальная люстра, подаренная еще Сталиным, скрипит деревянная лестница. А иногда и тень императора вновь поднимается по массивным дубовым ступеням.
