В конце XVII века эти места принадлежали семье стольника Ивана Ржевского. Затем участок разделили на несколько владений. На одном из них вырос особняк, который видел в своих стенах Льва Толстого.
В 1817 году усадьба перешла серпуховскому купцу Василию Варгину. До конца 1820-х по его заказу на участке возвели жилую пристройку к главному дому, жилое одноэтажное каменное строение с мезонином, нежилые каменные постройки с мезонинами. Одна из них и стала современным строением 13.
До 1871 года усадьба принадлежала семье Варгиных. Тогда там бывал Лев Толстой. А затем владение купила потомственная почетная гражданка Е.А. Баранова. Существенных изменений в планировку усадьбы она не вносила: появилось несколько новых построек, и деревянная галерея соединила главный дом со служебным флигелем.
После революции усадьбу Чернцовой — Варгиных — Барановых национализировали. Здания занял конный парк «Автопромгорга». Они возвели еще несколько построек на месте усадебного сада и надстроили главный дом четырьмя этажами. В 1937 году строение 13 приспособили под жилье рабочих Московского Метрополитена. Коммунальные квартиры просуществовали там до 1970-х.
В 1980-х годах бывшую усадьбу Чернцовой — Варгиных — Барановых начали реставрировать. Но здание находилось в удручающем состоянии. В результате работы на некоторое время заморозили, а часть построек оказалась безвозвратно потерянной. Сейчас на Пятницкой стоят те постройки, которые удалось сохранить.