Братья Василий, Дмитрий и Иван Носовы начинали как простые ткачи, но смогли накопить деньги и в 1829 году открыть собственную текстильную фабрику на берегу Хапиловского пруда. Сначала там делали недорогие драдедамовые платки, а затем суконные изделия для армии.
Фабрику Носовых долго возглавлял сын одного из братьев-основателей. В 1880-х годах он купил у купца Н.О. Жучкова землю и построил деревянный дом для своей семьи. Позже к зданию добавились различные пристройки, как деревянные, так и каменные. А когда его сын женился, В.Д. Носов отдал ему особняк, а себе решил построить деревянный дом на улице Электрозаводской.
Материалом для дома послужил брус, так как владелец считал, что так воздух будет здоровее. Дерево уложили не горизонтально, а вертикально. Потом брус обшили досками и оштукатурили. Для лучшей теплоизоляции брус проложили шерстяными отходами с носовских фабрик.
Носов был неравнодушен к новинкам и задумал свой дом со всеми последними достижениями комфорта — водяным отоплением, горячей и холодной водой из кранов, городским телефоном. Здание разделили на две половины — мужскую внизу и женскую наверху.
После 1917 года в доме купца Носова располагались различные учреждения. Сейчас особняк Носова — памятник архитектуры. В здании разместился филиал Российской Государственной Библиотеки для молодежи «Особняк купца В.Д. Носова».
