Мараевы — отпущенные на волю крестьяне графа Орлова-Давыдова. Они основали текстильную фабрику под Серпуховом и вскоре разбогатели. В их собственности были две фабрики, несколько домов в Серпухове и Москве, 11 имений в разных уездах.
После смерти Нефеда Мараева дом перешел его жене Анне Васильевне. Ей пришлось судиться за наследство, которое хотел отобрать брат супруга. И в это время она купила собрание картин у нуждавшегося в деньгах камергера Ю.В. Мерлина. Он и помог завершить процесс в пользу Мараевой.
В советское время коллекцию Мараевой национализировали, и в ее серпуховском особняке открылся музей.