Улица Воронцовская получила название потому, что 300 лет назад здесь построили усадьбу князей Воронцовых-Дашковых.
В 1639 году сюда переселили часть тяглецов черной Воронцовской слободы Белого города. Примерно тогда же к югу от новой Воронцовской слободы появилась слобода дворцовых каменщиков.
В пожар 1812 года деревянная застройка Воронцовской слободы сгорела. Но вскоре улицу отстроили: в начале, под номером 4, стояла городская усадьба Воронцовых-Дашковых, далее — купеческие дворы. Авторство дома графа Воронцова приписывают Карлу Бланку, так как граф часто прибегал к его услугам. Более того: в Москве архитектор жил на Рождественке во владениях графа Воронцова и фактически был его домашним архитектором. Но документы не подтверждают, что дом на Воронцовской улице построил тоже он.
В XIX столетии им владели купцы: в 1830-1870-е Шапошниковы, а потом Седовы, Тюрины. В 1912 году здесь обосновалось Таганское отделение городского ломбарда.
Возможно, что и здание на Воронцовской улице графу Воронцову не принадлежало, а было построено кем-то из купцов.