Этот особняк на Новой Басманной построили на основе небольших каменных палат конца XVIII века. За свою историю он почти не изменился: только растесали окна второго этажа и разобрали лестницу.
Автором проекта считают Матвея Казакова. Но доказательств этому не найдено. А в пользу этой версии говорит лишь наличие здания на Новой Басманной в Альбоме партикулярных строений.
В 1797 Гогеля уволили за финансовые злоупотребления при управлении Воспитательным домом, и он переехал в свою усадьбу. После его смерти в 1799 году особняк купил морской офицер и путешественник Сергей Плещеев.
В начале XX века к особняку пристроили доходный дом. Тогда и убрали парадную лестницу.