Этот дом построил князь-коннозаводчик, но не успел в нем пожить, — а через сто лет здесь разместились архивы Горького, музей Пушкина и институт, где работала половина советских литературоведов.
Будучи знатным коннозаводчиком и директором Императорских театров, Гагарин хотел, чтобы усадьба соответствовала его статусу и заказал проект Доменико Жилярди. При этом долгие годы автором здания считали Осипа Бове из-за подписи «Бове» на одном из чертежей.
Строительство завершили к 1829 году, но из-за отсутствия хозяина некоторые комнаты оставались неотделанными до 1830-го. В 1833 году Гагарин подал в отставку и продал усадьбу в счет долгов — так и не пожив в готовом доме.
В здании разместили московскую контору организации, рядом построили деревянные конюшни. В 1875 году в качестве заведующего московской конторой Коннозаводства в усадьбу въехал генерал-майор Леонид Николаевич Гартунг с женой, старшей дочерью Александра Сергеевича Пушкина.
После революции 1917 года в бывшем Доме коннозаводства разместились Первые московские пулеметные курсы РККА. Через три года — Институт красной профессуры, готовивший педагогов и партийных работников. Затем — Интернациональная Ленинская школа. Было здесь еще Кавалерийское училище имени Семена Буденного.
В создании участвовал сам писатель. Позже учреждение переименовали в Институт литературы имени А.М. Горького. После смерти Горького в усадьбе Гагарина также разместили архив и музей писателя. А 11 января 1956 года перед главным входом в особняк установили памятник Максиму Горькому работы Веры Мухиной.
Сегодня в усадьбе продолжают работать Институт мировой литературы имени А.М. Горького РАН, а в парадных залах на втором этаже размещается литературная экспозиция Музея А.М. Горького.