В 1899 году фабрикант И.А. Морозов купил это здание для размещения коллекции западноевропейской живописи и в 1906 заказал Кекушеву перестроить интерьеры в экспозиционные помещения. Так появилась Морозовская галерея.
После революции коллекцию национализировали, а в здании устроили музей. Сменила его Академия Художеств СССР.
Мысль о создании академии вынашивал еще Петр I, но он видел цель искусства весьма прагматично — в поддержке науки. Рисовальщики и граверы делали ботанические и этнографические зарисовки, готовили карты и лишь иногда выполняли портретные заказы. Поэтому прообраз Академии Художеств был в то время при Академии наук. Но именно Шувалов пригласил из Европы первых педагогов и набрал учеников.
Здание для Императорской Академии Художеств построили на берегу Невы по проекту Ж.Б. Валлен-Деламота и А.Ф. Кокоринова. Первым Президентом учреждения стал Иван Шувалов.
Академия Художеств содействовала формированию музейных коллекций, вела научную работу, проводила выставки и конкурсы, инициировала создание провинциальных художественных музеев, училищ и школ.
Также до начала ХХ века Академия Художеств была единственным в России высшим учебным художественным заведением. Преподавали там поначалу иностранные специалисты. А так как в то время в Европе господствовал классицизм, ученики часами копировали классические изображения и античные образцы. Не удивительно, что в этих стенах зародилась русская школа классической архитектуры. Но со временем учебная программа Академии пополнилась древнерусским искусством.
Для лучших учеников действовала система стипендий, а обладателей золотых медалей за конкурсную работу отправляли на учебу за границу. Первыми пенсионерами Академии стали Баженов и Лосенко: они уехали учиться за границу еще в 1760 году.
Отличников Академия поддерживала оплачиваемыми заказами. Например, знаменитую картину «Явление Христа народу» Александр Иванов в течение 20 лет писал в Италии по заказу Академии Художеств.
В 1917 году Академия Художеств была на грани закрытия, но ей удалось сохранить коллекции и образовательное ядро. Уже в 1932 Академия возродилась в Ленинграде, а в 1947 году в Москве начала работу Академия Художеств СССР.
В 1997 году Президентом Академии Художеств стал Зураб Церетели, а здание украсили его скульптуры, среди которых богиня правосудия Фемида и лев с геральдическим щитом.
Как читать фасады: шпаргалка по архитектурным элементам...в ноябре 1863 года ученики Академии, допущенные к участию в конкурсе на золотую медаль, попросили разрешения вместо исторического сюжета писать на свободную тему. Получив отказ, 14 человек покинули Академию. Среди них были Илья Репин, Иван Шишкин, Николай Крамской. Через несколько лет они основали Товарищество передвижных художественных выставок.