Эта усадьба входит в состав Музея изобразительных искусств имени А.С. Пушкина примыкал, а в ее флигеле можно посмотреть на творения импрессионистов и постимпрессионистов.
В 1774 году особняк Голицына и соседние дома Долгорукова на Волхонке и Лопухина в Малом Знаменском переулке перестроили для пребывания в них Екатерины II в честь празднования заключения Кючук-Кайнарджийского мира, а между ними М.Ф. Казаков построил большой деревянный «Пречистенский» дворец с тронным залом. Несмотря на старание и скорость возведения здания, императрица осталась недовольна.
…прошло часа два, прежде чем я узнала дорогу к себе в кабинет, беспрестанно попадая не в ту дверь. Выходных дверей многое множество, я в жизнь мою столько не видала их. С полдюжины заделано по моему указанию, и все-таки их вдвое больше, чем нужно.
После отъезда Екатерины II из Москвы дворец разобрали. А в начале XIX века дом перешел князю Сергею Голицыну. В его домовой церкви Рождества Христова хотел венчаться А.С. Пушкин, но митрополит Филарет велел провести церемонию в приходской церкви невесты у Никитских ворот, чтобы не лишать заработка тот причт.
За время дипломатической службы он собрал большую коллекцию книг, картин и других редкостей. После его смерти они стали основой музея, который называли «московским Эрмитажем». Экспозиция открылась в 1865 году. Но сын Михаила Голицына не разделял увлечений отца и в 1886 продал музей Эрмитажу и Публичной библиотеке, а здание усадьбы сдал внаем.
В 1894-1898 годах во время перестройки дома на Большой Никитской тут размещались классы Московской Консерватории, а на первом этаже в квартире с окнами на юго-восток провел последние годы жизни А.Н. Островский.
В 1903 году усадьбу продали Московскому художественному обществу. Оно сдавало помещения торговой школе, женской гимназии Громогласовой, университету Альфонса Шанявского и Высшим женским сельскохозяйственным курсам. А в бывших флигелях устроили квартиры под названием «Княжий двор». Среди постояльцев были художник Василий Суриков, музыкант Александр Скрябин, художник Илья Репин, писатель Борис Пастернак.
В 1918 году в усадьбе Голицына разместилась Социалистическая Академия, а семь комнат особняка до 1921 года занимал Музей живописной культуры. В конце 1920-х главный дом усадьбы надстроили двумя этажами. При этом сохранились въездные ворота с фамильным гербом Голицыных и вензелем «PMG» (Prince Michail Golitzin) — личным знаком Михаила Голицына.
В 1936 году Академию расформировали, а в 1941 здание пострадало от разрыва фугасной бомбы. В отремонтированном доме разместился Институт философии Российской академии наук, а затем усадьбу Голицыных передали Пушкинскому музею для создания Музейного городка ГМИИ. В левом флигеле уже работает Галерея искусства стран Европы и Америки XIX-XX веков.