1964年，為緩解牛欄山中學(xué)（現(xiàn)牛山一中）生源過(guò)多難以容納的困難,決定在牛欄山地區(qū)再建一所中學(xué)，即牛山第二中學(xué)。
1965年3月寒假后，從牛欄山中學(xué)撥初一、初二共計(jì)337人到牛山二中就讀。同時(shí)有教師26人到牛山二中工作。當(dāng)時(shí)只有初中學(xué)生。
1969年，牛山二中曾招收一屆“農(nóng)中”學(xué)生，開(kāi)設(shè)了農(nóng)機(jī)、農(nóng)醫(yī)和電工共三個(gè)班，學(xué)生總數(shù)46人。后又招收了3、4屆。牛山二中的“農(nóng)中”于1976年前后敗落。
1971年春季，牛山二中增設(shè)二年制高中班，每屆招收1-2個(gè)班。
1982年，順義縣進(jìn)行中學(xué)的重新布局，把原順義西北片的普通高中歸到牛山二中，至此，牛山二中成為當(dāng)時(shí)順義縣九所完全中學(xué)之一。80年代末，牛山二中學(xué)生數(shù)量達(dá)到千余人，教師數(shù)量100人以上。并新建教學(xué)樓和擴(kuò)建了操場(chǎng)。
進(jìn)入21世紀(jì)，學(xué)校發(fā)展更加迅速，全校維持在24－28個(gè)教學(xué)班，1100－1300學(xué)生，110位教師。
2009年順義區(qū)進(jìn)行高中的重新布局，7月我校高中師生合并到牛欄山一中，只留下初中部，到2009年9月暑假開(kāi)學(xué)，學(xué)生總數(shù)77人，教師36人。由完中校轉(zhuǎn)為初中校。