Эта поговорка появилась в ответ на постепенное разрастание Москвы. В летописях город впервые упоминается в 1147 году, центром Московского княжества Москва стала лишь в XIII веке, а столицей единого Российского государства — лишь во второй половине XV века. Поэтому, чтобы оправдать медленное развитие событий, обычно говорят «Москва не сразу строилась».

Изначально в русской одежде не было карманов, а вещи затыкали за пояс, клали в шапку, вешали на шею или прятали за пазуху. Карманы в Москве увидели лишь в XVII-XVIII веках у приезжающих европейцев. Как известно, иностранцев в белокаменной не жаловали, поэтому о приезжающих насмешливо говорили, что они ходят «руки в брюки» — ведут себя развязно и непочтительно.

Это выражение связано с церковью Всех Святых на Кулишках, ведь ранее здесь была фактически граница Москвы. Храм стоит восточнее Кремля возле так называемого Васильевского луга при впадении Яузы в Москва-реку. Этот луг и прилегающие к нему земли назывались Кулишками или Кулижками. Этим древнерусским словом называли участки земли по берегам рек, которые использовали для сенокоса. Со временем слово «кулишки» стало синонимом понятия «очень далеко, на краю земли».