Это здание известно как «Дом Брюсова», но принадлежало оно купцу Ивану Баеву. И он даже часто поправлял, что этот дом не Брюсова, а мой, а Брюсов здесь живет на квартире
.
В квартире из пяти комнат на первом этаже поэт жил до смерти 9 октября 1924 года. В этом особняке бывали К.Д. Бальмонт, Андрей Белый, А.Н. Бенуа, С.А. Есенин, Е.Е. Лансере, Игорь Северянин, В.Ф. Ходасевич, В.В. Маяковский и многие другие.
После смерти Брюсова его вдова сохраняла обстановку мемориального кабинета, превратив его в музей. После ее смерти в 1960-е годы часть помещений, в том числе и комнат квартиры Брюсова, заняла районная библиотека.
Последние годы дом Брюсова долго стоял заброшенным после пожара. Его планировали снести, но в итоге отреставрировали. С 1999 года в доме работает Музей серебряного века. Первый этаж занимает экспозиция, посвященная творчеству В.Я. Брюсова, а на втором этаже — экспозиция «Литература серебряного века».
...собранная Валерием Брюсовым библиотека в 5 000 томов поражала. Там были книги на английском, французском, итальянском, испанском, немецком и чешском языках, античная литература в подлинниках. Часто попадались его пометки на том же языке, на котором написана книга.
...дед Валерия по отцу был крепостным Якова Брюса, отсюда и фамилия.