В 1956 году в художественной жизни страны произошло несколько значимых событий. Во-первых, широко отмечали юбилей Третьяковки. Во-вторых, Всесоюзный съезд советских художников решил расширить современные выставочные залы. В-третьих, Никита Хрущев осмотрел выставку в Манеже и публично выразил сомнение в сексуальной ориентации скульпторов и живописцев.
Планировку застройки местности у Крымского моста перекраивали неоднократно: в 1920-х здесь хотели разместить часть экспонатов сельскохозяйственной выставки, потом планировали поставить Дворец искусств, а после переезда Академии наук из Ленинграда в Москву начали строительство Храма Наук, но война спутала планы.
В 1956 году Третьяковская галерея отмечала вековой юбилей, и в честь этого события решили построить сразу 2 здания — одно для галереи, а другое для Союза художников СССР. И место у Крымского моста казалось подходящим, ведь основатель Третьяковки родился рядом — в Голутвино. Правда, вскоре власти решили, что подарок слишком щедрый, и можно ограничиться одним зданием.
Окончательно проект утвердили в 1964 году, а строительство завершили только в ноябре 1979. Архитекторы Николай Сукоян и Юрий Шевердяев задумали выставочный зал как гигантский парковый павильон — продолжение ансамбля Центрального парка культуры и отдыха. Отсюда и небольшая высота, и протяженность на 300 метров вдоль набережной, и сквозная колоннада по периметру.
Сейчас в Центральном доме художника проходит более 300 выставок, ярмарок и фестивалей в год, а в самом здании находится 60 художественных галерей и организаций, связанных с художественной деятельностью. Правда, в последние годы городские власти пытаются снести ЦДХ, чтобы построить на его месте что-то более функциональное.
Например, в конце августа 2008 объявили о возможном строительстве нового здания Третьяковской галереи на месте ЦДХ. По проекту Нормана Фостера, им должен был стать 15-этажный дом в виде разрезанного апельсина, каждая из пяти «долек» которого стала бы отдельным функциональным сегментом. На первых этажах планировали разместить гостиницу, офисы и жилые апартаменты. Проект вызвал резкие протесты общественности, и вскоре стало известно, что «апельсин» в Москве строить не будут. Но ему на смену пришел другой проект, по которому фасад нового здания Третьяковки будет обращен к Садовому кольцу, справа от него разместится новое здание Центрального дома художника, а слева «Конференц-зал». Сотрудники ЦДХ, Третьяковской Галереи и Музеона, жители района Якиманка выступили против сноса здания, но главный архитектор Москвы Александр Кузьмин сказал, что в бюджете РФ нет средств для реконструкции здания, поэтому «реконструкция» ЦДХ и Третьяковской галереи предполагает снос здания и строительство на этом месте гостиницы в 17 этажей. Но пока здание Центрального дома Художников удалось отстоять.
Как читать фасады: шпаргалка по архитектурным элементам...пропорции фасада ЦДХ повторяют пропорции Дворца Дожей в Венеции, а некоторые современные исследователи отмечают образную связь архитектуры здания с виллой Савой Ле Корбюзье.