«Павловские четверги» и двухэтажный особняк апельсинового цвета на Рождественском бульваре были известны всей Москве.
В конце 1820-х особняк принадлежал семье врача Яниша. Его дочь, Каролина Яниш, была хорошо образована, знала 8 языков, писала стихи, рисовала. Ее переводы Пушкина, Лермонтова, Баратынского, Языкова издавали не только в России, но и в Европе.
В Каролину Яниш был влюблен Адам Мицкевич, но ее родители были против. В 1837 году ее выдали замуж за популярного беллетриста Н.Ф. Павлова. Тогда этот дом стал известным на всю Москву так называемыми «павловскими четвергами», на которые собирался весь цвет русской литературы. Здесь бывали Герцен, Огарев, Грановский, Чаадаев, Аксаков, Хомяков, Баратынский, Гоголь, Фет.
В 1840 году в доме Павловых М.Ю. Лермонтов прощался с московскими литераторами, уезжая в роковую ссылку на Кавказ. Сохранился рисунок поэта, изобразившего себя и Хомякова в кабинете Павлова.
Отчаянный игрок, Николай Павлов за 15 лет спустил все состояние, и в 1852 году супруги разошлись. Через несколько лет Каролина Яниш покинула Россию. В 1867 году дом на Рождественском бульваре перешел французскому купцу Эмилию Маттерну. Через 3 года он перестроил дом по проекту А. Стратилатова. В таком виде здание дошло до наших дней.