Это здание в стиле конструктивизма называют «Дом каторги и ссылки». Его построили по проекту братьев Весниных как клуб политкаторжан.
Здание спроектировали в виде группы соединенных параллелепипедов разной ширины и высоты с горизонтальными окнами. Сразу после постройки в 1934 году в журнале строительство Москвы» появилась критическая статья. Ее автор упрекал архитекторов Весниных в «омертвелости голых плоскостей», ослаблении монументальности композиции, отсутствии у клуба политкаторжан «собственного лица». А стенгазета политкаторжан «Три централа» написала о новом здании: поди ж ты — строили дворец, а вышел колумбарий свайный
.
Помимо клуба политкаторжан, в здании предполагалось разместить Музей каторги и ссылки с экспозицией казематов Петропавловской крепости, Шлиссельбурга и других тюрем. Но дальше планов дело не зашло: 25 июня 1935 года Президиум ЦИК СССР постановил ликвидировать Общество бывших политкаторжан и ссыльнопоселенцев.
А в 1945 бывший Дом каторги и ссылки занял образованный за 2 года до этого Государственный театр киноактера союзного значения. Его ликвидировали в 1957, а здание на Поварской перешло Дому кино. Здесь 31 октября 1958 года состоялось собрание московских писателей, на котором из Союза писателей СССР исключили Бориса Пастернака.
Воссозданный Театр Киноактера вернулся сюда в 1969 году.