В гостиной этого особняка анархисты пировали шампанским, немецкие дипломаты мерзли в холодные зимы, а норвежский посол однажды заявил, что особняк мог бы соперничать с королевским дворцом.
Их владельцем был тайный советник Николай Милютин — один из главных разработчиков Крестьянской реформы 1861 года. В середине XIX века в усадьбе жил историк-москвовед Дмитрий Никифоров. А после смерти Милютина эти земли купил купец Митрофан Грачев. Он и поручил перестройку усадьбы архитектору Павлу Зыкову.
Зыков объединил два отбельных здания купольной частью, переделал фасад в стиле эклектики и пристроил зимний сад. А внутри особняк Грачева был модно и богато отделан: паркет из редких пород дерева, лепные потолки, скульптурные рельефы на стенах, зеркала в мраморном обрамлении.
В апреле 1918 года здание пострадало в ходе штурма соседнего дома Цетлиных, в котором находился один из штабов анархистов. В 1921–1925 годах в усадьбе разместился лазарет для немецких военнопленных. Затем до 1941 года здесь жили сотрудники посольства Германии. Большие залы было непросто протопить в морозы, и немецкие дипломаты жаловались на холод. А а 1944 году усадьбу Грачева передали норвежскому посольству.
К концу 1950-х здание сильно обветшало: норвежский посол Оскар Гундерсен назвал его «развалиной» с рассохшимся паркетом и плохими санитарными условиями. В холодные дни там приходилось сидеть в шубах. Здание даже могли снести при прокладке Нового Арбата, но общественность его отстояла.
В начале XXI века норвежская сторона провела реставрацию особняка.