Архитектор планировал устроить плавательный бассейн под зрительным залом клуба. Но при строительстве здания его заменили на гимнастический зал, так как в этой части Вятской улицы не было водоснабжения и канализации. Зато удалось реализовать оригинальные входы, которые ведут сразу на второй этаж. Предполагалось, что их можно будет использовать для прохода через зрительный зал массовых шествий и демонстраций. Правда, по задумке архитектора, там должны были стоять пандусы, а не лестницы.
В 1947 году здание клуба передали профсоюзу работников советской торговли. Тогда клуб переименовали во Дворец культуры имени Горького. А в 1950-х здание перестроили, сильно исказив его облик.
Однако реставрации пришлось подождать еще несколько лет. Лишь в 2004-2006 годах зданию вернули первоначальный облик с некоторыми отступлениями. Например, не стали восстанавливать заложенные в 1950-х вертикальные окна боковых частей здания.
Но интерьеры здания и планировка изменились до неузнаваемости под потребности рекреационного центра «Суриковъ-холл». В бывшем доме культуры фабрики «Свобода» проводили праздники и банкеты. Но такое отношение к памятнику архитектуры возмутило и местных жителей, и московские власти. Поэтому в 2015 году «Суриковъ-Холл» освободили помещения.
В конце декабря 2015 года в репортаже одного из федеральных СМИ появилась такое сообщение: городские власти в 2003 году заключили договор с коммерческой компанией на реконструкцию. А она превратила дворец культуры в нелегальный развлекательный клуб, в котором играли свадьбы и развлекали гостей шоу-программами. Ремонт можно превратить в бесконечный праздник — так решили коммерсанты, которым доверили реконструкцию клуба фабрики "Свобода", также известного как ДК Горького на Вятской улице. Пока все думали, что в историческом здании кипит работа, там устраивали свадьбы, банкеты и корпоративы. Закончилась череда вечеринок выселением. Полицейские скрутили охранников, и рабочие начали срезать замки.