衡南二中原名大剛中學，1941年9月18日，由江西省旅衡同鄉會集資創辦。首任校長為主要倡辦人毛健吾，時為《大剛報》社總經理，故以“大剛”為校名。校址設在衡陽市北郊十方塘護國禪寺。其用意在紀念“9·18”事變發生10周年和為國培養“護國”人才。學校規模小，教職員工10余人。每年招收兩個初中班，3個年級，共六個班，在校學生多200人。校舍是舊寺廟，設施簡單，設備缺乏。1944年衡陽淪陷，為避日本兵禍，學校遷往常寧大坪鄉尹家祠堂。1949年10月，中華人民共和國成立，仍遷回衡陽市十方塘護國禪寺舊址。1952年原衡陽縣分為衡陽和衡南兩縣，大剛中學劃歸衡南縣，學校隨之遷往衡南縣車江鎮對河王涵川莊園。學校有了共產黨組織，規模迅速擴大，學生由200人增至300多人。1958年由私立轉公立，1959年正式更名為“湖南省衡南縣第二中學”。自此，校舍擴建，教師增加，設備不斷添置、更新。1952年政府派周建業(共產黨員)擔任副校長(正校長缺)，1957年又增調蔣繼成為二中**副校長(正校長仍缺)，學校領導力量得到加強，1958年開始招收高中生，該校由初級中學過渡到初、高中兼具的完全中學。這時學校規模更為擴大，設立處、室、教研組，名老教師云集，教學設施充實，實驗設備配套。教師已達80人，在校學生人數突破1000人。教師的積極得到了發揮，教育教學質量不斷提高。1963年高考，該校有13位學生考上北大、人大、復旦等名校。

文化大革命，全國大亂，學校炮火連天，該校地處鄉村，也受到了沖擊，發生過騷亂，但比較起來，受到破壞較小。

1977年恢復高考，學校恢復正常教學秩序，教師的積極性又高漲起來，狠抓基礎知識教學，大大提高了教學質量，每年向大專院校輸送大批合格學生。1984年參加高考239人，被大專院校錄取183人，占參考人數的78%。體育隊、文藝宣傳隊、《桃圃》文學社也都卓有成績，社會名氣很大，引起了上級政府的重視，1987年被定為衡陽市重點中學。

1990年學校所在地劃歸衡陽市郊區管轄，周邊關系惡化。縣政府決定搬遷。校舍建在車江大山坪。1991年動工，1994提基本竣工，1995年學校遷入新址。

新校園占地面積163畝，建筑總面積98860平方米。有三棟五層樓連為一體的教育學樓，設有教室54間；有60間辦公室的教學辦公大樓，有藏書7萬冊、閱覽桌座250個的圖書樓；有64座語音室兩間，微機室四間(先進電腦200臺)；有多媒體教室兩間，裝有雙向傳輸監控系統；有主干1000M，100M到桌面的校園網，全校實現“班班通”；有軟件制作室、電子閱覽室和整套的教育教學管理信息平臺。從校長室到每個辦公室配備了電腦、并且聯成網，實現了辦公無紙化；有達國級的科教樓、上星級的校園賓館；八根跑道的環形風雨操場，還有三棟學生公寓，可供2500寄宿生住宿。其它配套設備，一應俱全。學校規模擴大，教職工人數迅速增多。2003年有高中教學班42個，在校學生2860人。教職工240人，其中專任教師143人，本科畢業生125人，達研究生學歷2人，有高級職稱的34人，中級職稱的65人，省市教師10人，全國教師2人，省骨干教師6人，國家級骨干教師2人。教職員工中有中共黨員57人。校行政設辦公室、教務處、教研處、學生處、保衛處、總務處；還有工會、團委會。校級干部7人，中層干部12人。行政級別為正科級事業單位。

衡南二中始創宗旨是：健心救國。中華人民共和國成立后，學校倡導的思想：忠誠、信實、篤學、博愛。1982年學校給學生提出行為規范：團結、守紀、勤奮、創新。1992提修改為：文明、守紀、勤奮、創新，之后將此做為衡南二中校訓。1999年，在〈〈衡南二中五年工作總目標和發展的規劃〉〉中，學校又提出“改革、實驗、示范、高質量、有特色、創名校”、“校以育人為本，師以敬業為主，生以為成才為志”的辦學目標，全面貫徹國家的教育方針，積極推進素質教育。隨著時代的發展，學校又將校訓改為“忠”、“健”、“勤”、“信”。衡南二中在整個辦學過程中，校訓嚴格規范師生的行為，學校工作**實績，稱著湖南。衡南二中是農村中學，“不刻意個個拔尖，只求人人成材”，是她一以貫之的辦學思想。在辦學的過程中，呈現出三大特色：

1、有教無類，教育共享。衡南二中首任校長毛健吾提出，施教不分貧富，多給機會，讓貧窮孩子受教育。1953年人民政府接管后，學校辦校一直面向全體學生，面向學生的一切。幾十年的辦學中，校址幾遷，校長數換，唯此思想不變：不考試排隊，不排除差生；不喜富厭貧，不搞等第教育。學校建有“扶貧助學基金會”，衡南二中學生沒有因貧窮而失學的。有特殊困難的，學校“扶貧助學基金會”解決一部分，師生臨時捐資解決一部分。

2、授之以漁，個個成材。衡南二中教學，全在教會學生學習，教會學生做人，教會學生獲得生存的技能，培養和發展學生未來生活所需的能力。施教中，注重基礎知識的傳授和基礎能力的訓練，不搞高難度攻堅戰術；注重教法點拔、學法指導，不襲用陳腐的教學模式。衡南二中學生走上社會，生存能力強。綜合素質高，曾有“二中師范”之稱，意為“學習知識全面，掌握技能多種”，廣泛適應社會需要。

3、培訓特長，發展學生個性。衡南二中不只注重考試科目的教學，同時注意選修課程的開設和校本課程的開發；不只注重課本理論知識的教育，同時注重實踐能力的培養和個性的發展。學校著力素質，要求學生學會“做人、求知、健體、競爭、創造”，立志做“真人、能人、超前人”。學校素有“湘南體校”“飛行員鄉”美稱。1995年高考三個學生錄取到北航；2003年高考音、體、美專業生錄取到全國各高校31人。2004音、體、美考生專業成績上線人數62人，其數量高于衡陽市所有重點中學。

以人為本，德育為先。衡南二中辦學之初，奉行“文道統一”原則，堅持德育為先，把對人的心靈教育放在教育工作首位。學校建立多處“德育教育基地”，常年到部隊、農村和廠礦接受艱苦創業教育、理想前途教育和愛國富民教育；請老、名師給學生進行文學創作與欣賞、高科技知識講座。堅持周會訓話制度，每周星期一舉行升國旗儀式，學校領導、有關老師予以專題講話。在每年寒暑假里，都要求學生參加必要的社會勞動和社會實踐及社會調查活動。學校辦學思想明確，辦學方針對頭，辦學措施有力，學生都能具有科學的頭腦，成為社會上的分子，有的成為黨政軍的領導干部。原湖南省人民政府主管教育副省長王向天，1951年畢業于衡南二中初中部，廣州軍區黨委常委、清遠軍區司令周祖震，1962年畢業高二班；中國法學會研究部主任、北京政法學院教授甘功仁，1963年畢業衡南二中高五班；李準創作的電影〈〈牧馬人〉〉，主人公原型、國防科工委(核工業部)地礦局副局長左珍仲，1964年畢業于該校初四十七班；蘭州軍區副司令員于國良，1966年畢業于該校高九班，等等。初步統計在黨軍政部門任職的正師(廳)級以上干部有57人。

凈化校園環境，激勵學生刻苦攻讀。衡南二中五易其址，選址都很特殊——深山幽谷，遠距市鎮。學校很少與社會發生糾葛，學生很少受染大漠風塵。學校一直注重人的環境凈化和物的環境凈化的結合。在人的環境方面，首先，學校領導和教師(教育者)有嚴格的要求：學要稱師，德要為范。其次，對學校所有工作人員從嚴管理，言行舉止不辱教育圣潔土地，讓學生得到真善美的感悟。在物的環境方面，首先，利用天地優勢，對所在地的山光水色、林石花草倍加愛護，讓大自然的美增加學生的靈氣；其次，不斷改善辦學條件，對學校的硬件建設，著眼長遠，舍得花大錢。1995年學校第五次搬遷。校園為全新建筑，擁有資產1.1億元。學校教學樓、實驗樓、圖書館、風雨操場、學生公寓、校內賓館都為時尚建筑，規格高、氣勢雄。以2004年5月作統計，生均占地面積37平方米，平均居住面積4.5平方米，教師100%有成套住房，人均住房面積63平方米。校園綠化34%，閑地硬化率100%，2001年評為省級園林式單位。2001年5月湖南省教育電視臺、衡陽市電視臺同時作了《衡南二中進入全國農村中學百所校園》的報道。

穩抓教育質量，以名牌效興校。衡南二中創校以來，質量為本，1949年以前為商人私辦，學生來源廣泛，不少外省學子到此就讀(江西居多)，這些學生大都成為部隊、工礦骨干，少數走上國家領導崗位；1949——1959年為民辦公助，學生來源于衡陽地區各個縣鄉，主要是衡陽縣、衡南縣、常寧縣，到此就讀的大都是農家子弟，他們為了尋找良師慕名而遠行。1958年政府全面接管，學生來源主要是衡南縣內。衡南二中為了成為全縣教育龍頭，廣征教育賢才，組建一支湘南“叮當響”的教師隊伍——任課教師“清一色”的大學本科畢業生，相當部分是名牌大學畢業生(北大、復旦、東北師大、廈大、中南民族學院)。教師功力厚，素質高，加之治學嚴謹，受教育者少有不成才的。1964年高考，畢業生48人，考取北大，被大專院校錄取183人。自1977年國家恢復高考后的連續14年，衡南二中高考上線人數、升學率穩居全縣**位；1991年至2003年為全縣第二位。特別是飛行員招收，衡南二中為湖南省之，1960年至1995年考取飛行學院的計33人。

20世紀末，學校高舉“科研興校，質量立校，特色強校”的旗幟，研教、研學、研考，立足本校，以課題研究帶動教改，以教改促教育質量的提高。科學施教，貼心育人，學校取得全市矚目的成績，得到各級教育行政部門的好評，社會的肯定，家長的稱譽。

截止到2003年，衡南二中送出的初中畢業生有5600人，高中畢業生有17600余人。正式考取全國大中專院校的共2830人，考取研究生670人，博士生57人，博士后9人。1975高中畢業李小生獲得博士后，被聘為英國劍橋大學教授；1972年高中畢業生陸鳳林，考取武漢體育學院，后為國家一級籃球運動員，被聘為教授，后赴美留學，現為美國體育研究會研究員。衡南二中不僅注重高考升學率，同時注重學生特長的培養，長年有體育隊、文藝隊、美術組、科技發明組。男女排球隊在衡陽市中學生運動會上曾連續8屆獲得冠軍(1985——1991)，向省專業隊輸送男女排球運動員8人，男女籃球隊在市中學生運動會上也曾奪冠。向省專業隊輸送男女運動員16人。文藝宣傳隊蜚聲衡陽地區。20世紀70年代，足跡遍布衡南縣各個鄉鎮，全縣人民家喻戶曉。學生在各項競賽中獲得較好名次。唐帥獲2001年第十八屆中學生物理奧賽全國二等獎。2001年學生參加環保科技實驗活動獲省二等獎，廖世民獲得市中學生“三獨”(獨唱、獨奏、獨跳)**名。2002年學生王元國獲全國數學奧賽二等獎；2003年，學生謝志俊獲全國高中數學聯賽三等獎；學生黃蓉獲第二屆“學英語”全國中小學英語聽讀能力競賽一等獎；學生王偉英獲“衡陽市青少年藝術節”中英雙語演講比賽一等獎。衡陽市電視臺、湖南省教育電視臺等先后對衡南二中辦學特色和經驗作了追蹤報道。1997年9月18日，值建校56周年之際，時任湖南省主管教育的副省長唐之享、湖南省政協副主席龍禹賢、湖南省省長助理長助理許云昭、湖南省教委主任胡冬煦在衡陽市市委書記顏永盛、市長陳安眾的陪同下，視察了衡南二中，對該校辦學工作作了較高的評價。衡南二中辦學業績日益突出，教育形象日臻，各級政府授予了她很多榮譽，近三年來就獲取“縣目標管理先過單位”、“衡陽市重點高中”、“衡陽市示范性高中”、“衡陽市二星級文明單位”、“市教研教改示范校”、“市普通高中教學質量先進單位”、“湖南省現代教育技術實驗校”、“湖南省園林式單位”、“湖南省體育學校”、“省先進基層工會”等稱號47項。