Не известно, в каком из доходных домов Варгиных жил Лев Толстой, но сохранились воспоминания, что место это благотворно влияло на его творчество: здесь писатель работал по 8 часов в сутки.
Василий Васильевич Варгин был выходцем из серпуховских монастырских крестьян, которые вязали и продавали варежки (варьги). От этого и появилась его фамилия. В 16 лет он взял первый подряд — поставку холста для армии, и вскоре получил все казенные заказы.
Во время войны 1812 года Варгин благодаря низким ценам сохранил русской казне многие миллионы. За это он получил медаль «за усердие», а его брат Борис — звание «Потомственного почетного гражданина». А когда русские войска вошли в Париж, в их числе был и молодой Варгин. Город впечатлил его. Особенно ему понравилась площадь Пале Рояль, и Василий Васильевич решил создать такую же площадь с театром в Москве. Так в столице появился Малый театр.
Но в 1827 году, когда военным министром стал А.И. Чернышев, Варгина обвинили в недоимке казенных денег. Василия Васильевича арестовали и сослали в Выборг. Через 2 года Варгин вернулся в Серпухов и вновь принялся за торговлю, постройку домов и поправление хозяйства. А когда в 1858 он добился пересмотра дела, оказалось, что это казна ему задолжала! Но 9 января 1859 года Василий Варгин умер от «нервического удара», оставив после себя лишь 15 рублей серебром и дом на Пятницкой.
Здесь писатель, выйдя в отставку после участия в обороне Севастополя, жил немногим более полугода (с 21 октября 1857 по 8 апреля 1858 года). Здесь же он писал своих «Казаков».
Музейное здание состоит из двух домов. Один принадлежал Василию Васильевичу Варгину, другой — Борису Васильевичу Варгину. А объединил их для сдачи внаем меблированных комнат купец Яков Васильевич Варгин.
...когда русские войска стояли при Дриссе, к Василию Васильевичу прискакал нарочный с известием, что огромный транспорт с амуницией может попасть к противнику. Варгин велел его утопить, чтобы не достался французам. Так ко дну пошли пол миллиона рублей.