В 1885 году усадьба перешла семье Петуховых. При этом после революции 1917 года за заслуги перед Отечеством советские власти оставили дом в частной собственности. Правда, к Петуховым все-таки подселяли квартирантов, но те платили небольшую сумму за проживание.
В окружении Петуховых было много творческих людей. В гостях у них бывали художник Виктор Кошелев, критик Алексей Средин, композитор Александр Скрябин, коллекционер Феликс Вишневский. А в 1965 году Николай Петухов завещал особняк Вишневскому для размещения там его коллекции картин. Но музей открылся лишь в 1971. А двумя годами раньше Вишневский передал в дар государству более двухсот пятидесяти полотен и сам особняк Петуховых.
Сейчас в экспозиции работы художников XVIII-XIX веков: Василия Тропинина, Ивана Вишнякова, Алексея Антропова, Ивана Аргунова, Дмитрия Левицкого, Сильвестра Щедрина, Дмитрия Левицкого, Сергея Щукина, Ивана Айвазовского, Александра Бенуа, Виктора Васнецова, Исаака Левитана, Константина Коровина, Василия Поленова. Также в комнатах особняка можно увидеть антикварную мебель, иконы, редкую посуду и предметы бисерного шитья.