Это остаток усадьбы начала XIX века князей Шаховских. Еще в 1802 году здесь было двухэтажное служебное здание.
В 1880-х это здание перешло банкиру Лазарю Полякову. Он устроил тут меблированные комнаты. В корпусе на Тверской располагался более шикарный «Лувр», а в переулок выходил скромный «Мадрид». На это указывали кариатиды, держащие букву «М» в декоре здания.
В этом доме была сложная система коридоров, и можно было даже пройти из «Лувра» в «Мадрид», не выходя на улицу. Эти меблированные комнаты обожали артисты и деятели театра. И если «Лувр» выбирали приезжие знаменитости и солисты московских театров, то менее именитые артисты и переписчики пьес могли позволить себе только «Мадрид». Не удивительно, что именно здесь происходит действие романа Бориса Акунина «Весь мир театр».
Меблированные комнаты работали до 1917 года. При расширении Тверской в 1940-х здание в Леонтьевском переулке отрезали. А в 1990-х оставшийся «Мадрид» реконструировали под помещения для Правительства Москвы. От знаменитой гостиницы сохранился лишь фасад.