清代以前鄭州唯回一的一座清真寺是鄭州市清真北大寺。民國以后，隨著回族聚居點的擴展和伊斯蘭教的廣泛傳播，鄭州清真寺數量在所增加，管城回族區就有8座清真寺（男寺8個，女寺3個）。解放后，劃歸管城轄區的清真寺計有7座（男寺4個，女寺3個）。1978年后，除清平里清真寺外，其余6個清真寺全部恢復活動，其中以北大寺為著名。

北大寺原稱城內大寺或清真寺，始建于明代，是鄭州早的清真古寺，占地十余畝。乾隆十九年（公元1754年）和四十七年（1．782年）兩次重修。解放后1953年進行過大的修葺。1982年又一次全面翻修，次年7月落成。

修成后的北大寺，主要建筑由大門、望月樓、大殿、南北講堂、陪殿、沐浴室、殯儀館組成。望月樓為中阿藝術結合的建筑物，樓高10米，樓四角飛起，掛有風鈴，樓頂為綠色玻璃瓦復籃，屋脊兩端彩獸伏臥，栩栩如生，優雅壯觀。樓周圍由12根石柱支撐，其中8根分別書有中阿對聯各兩幅。中檻上方懸掛有“正教昌明”大匾，據說是清光緒二十一年，欽命會辦軍務、福建水師提督楊歧珍所獻。殿內外原掛有歷代阿旬和名人所書匾額和對聯，今尚存有乾隆年和民國初年大阿訇馬振九、馬長清所書阿旬文匾2塊，以及“天方正宗”、“顯楊正教”、“天方凈域”等漢文匾4塊。

北大寺歷經滄桑，尚存明宣德五年鑄造的銅香爐兩個，清代大小碑15通。北大寺早年實行三掌教制。從1916年至1985年，先后更迭教長有23人，其中影響大的有馬長清、謝西三、蘇百泉等，均在回族文化教育事業方面作出了貢獻。鄭州早的回民小學“明經初等小學”是該寺首創，早的回民中學，也是該寺興辦的。解放前夕，寺內還創辦過《天風報》。

該寺頗負盛名，不少名人慕名來訪。傳說清代的左宗棠、新疆哈密王、民國時的馬福祥、白崇禧等，都曾到寺內禮拜，并題寫過匾額和手諭。修葺后的北大寺，還接待了日本、美國、孟加拉、巴基斯坦、伊朗等國宗教界客人，他們對中國奉行的民族平等、宗教自由政策贊嘆不已。

1985年經國務院批準，鄭州伊斯蘭教經學院在北大寺開學，正式教職工14人，其中專職阿語教師3人，宗教教師2人，為河南、山東、安徽、江蘇四省培養出具有大專文化程度和一定造詣的伊斯蘭教職業人才。學院規模定為120人，學制三年。1989年5月，伊朗送經團到管城回族區北大街、北下街、后阜民里三坊清真寺宣講《古蘭經》。