學校創建于1971年11月，原名為李家莊公社高級中學。1972年8月開始招生，二年制，3個班，152名學生，共有17名教師。1978年招收了2個初中班，共100名學生。1980年，學校由區政府接管，面向全區招收高中生，共4個班。1982年改為3年制高中。

1985年全區高中并點，大部分教師學生并往蔭營中學，只留下一個班。同時區政府將學校定為全區重點初中校，當年開始招收初中4個重點班。1987年學校被評為省實驗示范初中。次年恢復為完全中學。1986年2月，李家莊中學改名為“陽泉市郊區第二中學校”。1988年停招初中生，成為單辦高級中學。

這一時期（1984年------1995年），學校共考入大專以上學生113名，中專生121名，其中有16名考入全國重點院校。

學校曾于1989年投資89萬元建起一幢四層學生宿舍樓。1994年，投資171萬元建成六層教師住宅樓。近年來，區政府不斷加大對教育的投入。2001年8月投資315萬新建了一幢總面積為3566平方米的教學大樓；2004年投資391萬元新建一幢綜合辦公大樓，面積為3194平方米。同年，投資86萬元新建一個師生餐廳，面積971平方米。2003年春投資80萬元完成了校園網建設。此外，硬化了操場，改建了公廁，購置了教師接送車，硬件建設上初具規模。

2001年8月，學校更名為“陽泉市玉泉中學”。1998年8月和2001年8月，學校兩次調整了領導班子，先后由弓月挺和樊振平擔任校長。這一時期，學校以“博愛、誠信、篤學、求索”為校訓，堅持“讓學生都有進步，讓家長都能滿意，讓老師都能成功，讓社會獲得人才”的辦學宗旨，發揚“自強不息、拼搏進取、追求卓越”的精神，實行年級組的管理體制，一方面努力改善辦學條件，一方面加強內部管理，教育教學質量逐年穩步提高，由一所辦學條件落后、教育質量低下的薄弱高中校，躍升為陽泉市先進校行列。先后榮獲陽泉市“文明單位”、“文明學校”、“科技示范學校”、“三育人先進集體”“教育教學管理先進學校”；郊區“先進單位”、“育人杯先進集體”、“教育科研先進學校”等稱號。高考達線人數、達線率逐年攀升。尤其是2004年高考，以達線總人數124人，達線率32.97%,應屆生達線是市定指標的145%的優勢，位居全市同類學校之首，受到社會的廣泛贊譽。

建校以來，學校共畢業學生5556人，升入大專以上高校1734人。