В этой усадьбе нередко собирались композиторы С.В. Рахманинов, А.К. Глазунов, П.И. Чайковский, бывал Федор Шаляпин. А с 1956 года здесь работает Центральный шахматный клуб.
Ее сын нередко встречался здесь с декабристами. Он не участвовал в самом восстании, но в этом доме арестовали Н.А. Васильчикова и его друга П.Н. Свистунова. А в конце 1830-х здание купила графиня Екатерина Зубова. По ее заказу два здания объединили. Это позволило увеличить площадь, а интерьеры сделать богаче.
В 1865 году владение перешло купеческой семье Алексеевых. Из этого рода происходил режиссер Константин Станиславский (Алексеев), и поэтому он много раз бывал в этом доме.
В 1884 году владение разделили на две части. Дом №14 купил Владимир Карлович фон Мекк. Но вскоре он скончался после тяжелой болезни, поэтому в 1895 году фон Мекки продали этот дом семье Фальц-Фейн. Они перестроили деревянные сени в камне, провели вентиляцию, водяное отопление и электрическое освещение. Но в 1898 году после внезапной смерти владелицы особняк купила Любовь Зимина. Так как ее брат основал частную оперу, этот дом был постоянно полон музыкантами.
В 1923 здесь разместился Верховный суд РСФСР. В конце 1930-х годов здание приспособили под жилой дом для политических эмигрантов. А в 1956 года особняк стал Центральным шахматным клубом СССР (сейчас Центральный дом шахматистов России).
В 1980 году в этом здании открылся Музей шахмат. До 2014 года он занимал одну комнату. После этого музей получил уже три зала особняка. Экспозицию можно условно поделить на две части: шахматы разных эпох и народов и кубки, завоеванные российскими спортсменами.