Памятник поэту установлен в небольшом сквере на углу Старосадского переулка и улицы Забелина. Место выбрано не случайно: рядом находится дом, где жил брат поэта, и где Мандельштам останавливался во время визитов Москвы.
Монумент исполнен в виде бронзовой головы поэта на постаменте из четырех базальтовых кубов. Этот постамент еще называют «руинированной гермой». На кубах выбиты строки Мандельштама: «За гремучую доблесть грядущих веков...». Рядом на стене размещена дополнительная гранитная доска со строчкой из стихотворения поэта: «Я хочу, чтоб мыслящее тело / Превратилось в улицу, в страну».
...памятник Осипу Мандельштаму хотели установить в саду имени Мандельштама. Но так как название парку дано в честь однофамильца, этот вариант отклонили.