Иностранцы, приезжая в Россию, отмечали, что в Москве больше торговых лавок, чем в Амстердаме или даже в целом княжестве. И действительно, сразу после завершения строительства Старого Гостиного двора напротив него начали возводить Новый, так как торговых площадей катастрофически не хватало.
Для нового здания выделили землю на месте Старых Рыбных рядов. Раньше там был Введенский переулок с церковью Введения Пресвятой Богородицы. Ее снесли по приказу Екатерины II еще при строительстве Старого гостиного двора, а переулок переименовали в Магистратский по находившемуся там Главному магистрату. Затем за ним закрепилось название Рыбного переулка.
Новый Гостиный двор строили с 1838 по 1840 год. Но есть версия, что работы начали в 1835 и закончили в 1842 году. Имя архитектора история не сохранила.
В 1890 году Новый гостиный двор частично перестроили: пробили дополнительные окна, двери и проездные арки. Это сделало здание немного ассиметричным.
Сейчас Новый гостиный двор занимают подразделения Росимущества и коммерческие компании. А Рыбный переулок фактически превратился в проезд между зданиями гостиных дворов.
