清代以前鄭州唯回一的一座清真寺是鄭州市清真北大寺。民國(guó)以后，隨著回族聚居點(diǎn)的擴(kuò)展和伊斯蘭教的廣泛傳播，鄭州清真寺數(shù)量在所增加，管城回族區(qū)就有8座清真寺（男寺8個(gè)，女寺3個(gè)）。解放后，劃歸管城轄區(qū)的清真寺計(jì)有7座（男寺4個(gè)，女寺3個(gè)）。1978年后，除清平里清真寺外，其余6個(gè)清真寺全部恢復(fù)活動(dòng)，其中以北大寺為著名。

北大寺原稱城內(nèi)大寺或清真寺，始建于明代，是鄭州早的清真古寺，占地十余畝。乾隆十九年（公元1754年）和四十七年（1．782年）兩次重修。解放后1953年進(jìn)行過(guò)大的修葺。1982年又一次全面翻修，次年7月落成。

修成后的北大寺，主要建筑由大門、望月樓、大殿、南北講堂、陪殿、沐浴室、殯儀館組成。望月樓為中阿藝術(shù)結(jié)合的建筑物，樓高10米，樓四角飛起，掛有風(fēng)鈴，樓頂為綠色玻璃瓦復(fù)籃，屋脊兩端彩獸伏臥，栩栩如生，優(yōu)雅壯觀。樓周圍由12根石柱支撐，其中8根分別書有中阿對(duì)聯(lián)各兩幅。中檻上方懸掛有“正教昌明”大匾，據(jù)說(shuō)是清光緒二十一年，欽命會(huì)辦軍務(wù)、福建水師提督楊歧珍所獻(xiàn)。殿內(nèi)外原掛有歷代阿旬和名人所書匾額和對(duì)聯(lián)，今尚存有乾隆年和民國(guó)初年大阿訇馬振九、馬長(zhǎng)清所書阿旬文匾2塊，以及“天方正宗”、“顯楊正教”、“天方凈域”等漢文匾4塊。

北大寺歷經(jīng)滄桑，尚存明宣德五年鑄造的銅香爐兩個(gè)，清代大小碑15通。北大寺早年實(shí)行三掌教制。從1916年至1985年，先后更迭教長(zhǎng)有23人，其中影響大的有馬長(zhǎng)清、謝西三、蘇百泉等，均在回族文化教育事業(yè)方面作出了貢獻(xiàn)。鄭州早的回民小學(xué)“明經(jīng)初等小學(xué)”是該寺首創(chuàng)，早的回民中學(xué)，也是該寺興辦的。解放前夕，寺內(nèi)還創(chuàng)辦過(guò)《天風(fēng)報(bào)》。

該寺頗負(fù)盛名，不少名人慕名來(lái)訪。傳說(shuō)清代的左宗棠、新疆哈密王、民國(guó)時(shí)的馬福祥、白崇禧等，都曾到寺內(nèi)禮拜，并題寫過(guò)匾額和手諭。修葺后的北大寺，還接待了日本、美國(guó)、孟加拉、巴基斯坦、伊朗等國(guó)宗教界客人，他們對(duì)中國(guó)奉行的民族平等、宗教自由政策贊嘆不已。

1985年經(jīng)國(guó)務(wù)院批準(zhǔn)，鄭州伊斯蘭教經(jīng)學(xué)院在北大寺開(kāi)學(xué)，正式教職工14人，其中專職阿語(yǔ)教師3人，宗教教師2人，為河南、山東、安徽、江蘇四省培養(yǎng)出具有大專文化程度和一定造詣的伊斯蘭教職業(yè)人才。學(xué)院規(guī)模定為120人，學(xué)制三年。1989年5月，伊朗送經(jīng)團(tuán)到管城回族區(qū)北大街、北下街、后阜民里三坊清真寺宣講《古蘭經(jīng)》。