На месте этого дома стояла усадьба дьяка Ф.С. Манукова. Она была приданым его дочери — будущей матери А.В. Суворова. Считается, что великий полководец родился именно здесь.
Его дочь — Авдотья Манукова — вышла замуж за поручика Преображенского полка Василия Суворова. Этот дом и имение в Орловском уезде стали ее приданным.
В 1740 году она продала усадьбу подпоручику Поздееву. Позже дом перешел князю П.А. Шаховскому. А в 1812 году княгиня Анна Шаховская разделила владение на Арбате на две части. Одну из них, восточную, она оставила себе, а другую продала. Эта западная часть вошла в историю как «дом с привидениями».
В 1889 году новый владелец М.Д. Орлов надстроил здание двумя этажами и превратил его в доходный дом. Проект выполнили И.Т. Владимиров и И.Г. Кондратенко.