Парк устроили за пределами тогдашней Москвы на берегу реки. Выбранное место было неудобным для строительства, поэтому в течение двух лет 700 человек работали над выравниванием почвы, чтобы придать парку форму амфитеатра. Но результат того стоил: от усадебного дома к реке сад спускался уступами, разной ширины и высоты, но одинаковой длины в 95 сажен. В парке было много каменных оранжерей с пальмами и деревьями из жарких стран: специально для него собрали 2 000 сортов редких растений. На пятой сверху площадке размещался большой пруд и птичник с выписанными из Голландии и Англии редкими птицами и животными. А в грунтовых сараях и парниках выращивали ананасы и виноград.
Охраняли растения вымазанные мелом сторожа. При беглом взгляде они не отличались от садовых скульптур. Но когда посетители начинали что-либо ломать, «скульптуры» оживали и подавали голос. Слухи о говорящих статуях наполнили Москву, и народ массово повалил в сад, который назвал «Нескучным».
При следующем владельце — графе Алексее Орлове-Чесменском — в Нескучнике появились памятники в честь военных баталий, павильоны, беседки и различные садовые «затеи». Но так как главной страстью хозяина были лошади (именно он вывел знаменитых орловских рысаков), в парке появились Манеж и конюшни. Перестроили и главный дом. Среди возможных архитекторов называют И. Ситникова, В. Иехта, В. Яковлева.
После смерти Алексея Орлова Нескучный сад унаследовала его дочь Анна Орлова. Она была набожной, много жертвовала церкви, надеясь таким образом искупить грех отца перед княжной Таракановой.
В 1812 году в доме Орловых остановился генерал Лористон, поэтому здание не пострадало.
Царская семья редко бывала в Нескучном саду. А сейчас в бывшем дворце размещается Президиум Академии наук. На Ленинский проспект выходят его ворота с аллегорическими фигурами «Изобилие» работы И. Витали. Раньше скульптуры отличались, но при строительстве жилого дома в 1930-х годах, левую статую разбили. Ее заменили новой — клоном оставшейся. А в 1936 году во двор Александринского дворца перевезли водоразборный фонтан с Лубянской площади.
В 1830 в Нескучном саду построили театр под открытым небом — так называемый «воздушный» театр. Его декорациями и кулисами были кусты и деревья. Занавеса и сцены не было. Из-за этого иногда спектакли давали по колено в воде. Но зрителям новшество нравилось, и театр пользовался завидной популярностью.
…театр, устроенный в саду под открытым небом, восхитил меня; декорациями служили вековые деревья, журчащий ручеек, дерновые скамьи и кусты махровых роз. Во время антракта дамы перебегали из ложи в ложу, в креслах тоже пестрели нарядные дамские шляпки, кавалеры подносили своим избранным и их безмолвным и неулыбчивым телохранительницам букеты, фрукты и мороженое.
Летом 1830 года «воздушный» театр в Нескучном посетил Пушкин с Гончаровой и Нащокиным. Шла репетиция, но при появлении знаменитого гостя, ее прервали, и актеры толпою ходили за ним, пока поэт осматривал сцену и зрительские места. А в 1834 году театр закрылся.
В парке поставили несколько павильонов, в том числе «Махорка» К.С. Мельникова и «Машиностроение» И.В. Жолтовского. А в 1947-1951 годах в Нескучнике по проекту Сергея Иконникова построили беседку в честь 800-летия Москвы. На ее стенах запечатлены главные события из истории города.
А в 2006-2007 годах площадь возле ротонды благоустроили и назвали «Аллеей влюбленных». На ней пустили фонтаны и установили специальные часы: теперь влюбленным не нужно беспокоиться о том, что они опоздают на свидание — на часах всегда без пяти шесть.
В Нескучном саду на краю Андреевского оврага стоит Охотничий домик, где снимали игры «Что? Где? Когда?». В летнем домике работает библиотека, есть небольшой зоопарк, действует старейшая в Москве площадка для пинг-понга. От пруда видна скульптура девушки-ныряльщицы работы Р. Иодко над единственным в Москве фонтаном-каскадом. А у самой реки притаился небольшой грот.
...если влюбленные пройдут вместе по Гротесковому мосту, то любовь их будет крепкой. А если при этом еще и поцелуются, то не расстанутся уже никогда.
...невзрачная постройка зеленого цвета на берегу пруда в Нескучном саду — все, что осталось от Ванного (Купального) домика конца XVIII века. Там в мраморных ваннах любил купаться император Александр II. И даже дно чистейшего пруда было выложено мраморными плитами..
В советское время в Ванном домике устроили заведения общепита, но после пожара он опустел. И теперь этот парковый павильон медленно разрушается
...на кирпичах строений и аллей Нескучного сада можно найти клейма «Н.Я.». Эти кирпичи были изготовлены в XIX веке на подмосковном заводе купца Николая Якунчикова.
...на своем участке П.Н. Трубецкой устроил первый воксал — увеселительный сад с иллюминацией, театральными представлениями и закусками. Здесь же в 1805 году москвичи наблюдали за первым полетом на воздушном шаре. Следующий владелец участка — Шаховской — устроил там водолечебницу. Но в тамошние ванны никто не садился, воды не пили, в галереях не гуляли — проект оказался коммерчески неуспешным, и владение пришлось продать в казну.
...Илья Ильф любил гулять в Нескучном саду. Однажды он подошел к дрессированному слоненку из местного цирка-шапито. Тот вдруг встал на задние ноги. Ильф опешил, но вскинул фотоаппарат, сделал несколько кадров и облегченно сказал: «Садитесь!». Тут уже опешил слоненок и сел.
...в течение нескольких лет после революции в Александринском дворце располагался Московский музей мебели. Это тот самый музей, где в романе «Двенадцать стульев» Остап Бендер и Киса Воробьянинов разыскивали драгоценные стулья.