Торговля с Дмитровом была развита давно. И в Москве даже две Дмитровки — Большая и Малая. А до строительства стен Белого города, это была единая улица.
К XIV веку по обеим сторонам дороги в Дмитров образовалась слобода торговцев и ремесленников. Там жили седельники, калашники, воротники, тележники. Так как почти все они были выходцами из Дмитрова, слободу назвали Дмитровской.
В XVI—XVII столетии эти места освободили для знати, а слободских жителей переселили дальше от Кремля по той же дороге. Чтобы отличать старую («большую») и новую слободы, последнюю назвали Малой Дмитровской.
Дворы знати и дворянства в середине XIX века сменили купцы, люди среднего достатка, интеллигенция. А в 1899 году по Малой Дмитровке прошла линия первого московского трамвая от Страстного монастыря до Бутырской заставы.
В 1944 в честь 40-летия со дня смерти Антона Чехова Малой Дмитровке дали его имя. Писатель жил здесь в 1890-е в домах №12, №11 и №29 и работал в журнале «Зритель» (редакция размещалась в доме №1). В 1993 году улице вернули историческое название.