安徽省懷遠縣第三中學始建于1926年。80多年來，隨著時代的變遷，學校多易其名，先后用過的校名有：懷遠縣立初級中學(1926年初建)、懷遠縣聯合中學(1949)，皖北地區懷遠縣立中學(1949)，皖北地區懷遠中學(1950)，懷遠縣城關初級中學(1960)，東方紅中學(1966)，安徽省懷遠第三中學(1978)等。

民國時期的懷遠縣立初級中學

1926年夏，懷遠縣教育局局長路本厚同縣教育會、商會、農會負責人共商籌辦懷遠縣立初中，校址為螞蚱廟(今城關小學院內)。縣教育會長方樹人為籌備主任，并擔任學校首任校長。招收兩班學生，共72名。生源來自懷遠、鳳臺、蒙城、渦陽等地。當時有國文、理化、數學、英語、史地、體育、圖畫、音樂教員和管理人員共十幾人。歷任校長有：方樹人、楊仲強、楊宏遠(教育局長兼任)、朱克忠、楊景周。林仰之任教務主任，1928年孫常伯任教務主任。學生學業成績突出，特別是體育成績顯著，培養了不少運動員，如李增友(“李黑子”)的撐桿跳高，孫大為的短跑，常樹樟的跳遠，徐叔平、程天麟的乒乓球，張亮亮的花劍等，還培養了一批小有名氣的籃球運動員(李增慶、王同杰、葛樹林、呂春風等)。

抗戰峰火中的懷遠縣中

1937年，抗戰爆發，縣城淪陷，縣中停辦。1939年夏，擬復辦，10月籌備就緒，校址在龍亢渦河南大乘廟，設三個年級三個班，學生不足百人，校長孫善初。1940年夏又停辦，1941年復課，共招學生218名，孫善初、孫常伯、路鴻翔先后任校長。校長孫善初多才多藝，曾滿懷激情，以法國《馬賽曲》為譜，編寫了《懷遠縣立初級中學校歌》，歌詞為：

“風云激蕩，血泊高漲，胡騎縱橫陷大邦。聽神獅怒吼，正怒吼!好男兒應自強，應自強!抗戰建國要讀書，我們的學校在敵后方，集青年英俊于一堂，校旗映旭日輝煌。書聲琴聲，劍影刀光。懷遠的新生命，中華的新棟梁。努力，努力!進步無疆!會看蛟龍起大江!”這歌詞，激勵了學子刻苦攻讀的信心，抒發了學子抗戰到底的豪情，表達了學子孜孜求進的心聲，鼓舞了學子建設祖國的壯志。

當時，雖然學校臨近前線，戰亂頻仍，但教育質量依然很高。教師注意開闊學生視野，讓學生多讀多練。1943年在教育部舉辦的“全國中學生三民主義論文競賽”中，學生康星伯的文章獲獎。1942年底，省教育廳視導員桂祖漠來校視察，以“殊堪嘉許”高度評價縣中。學校仍很重視體育工作，有籃球場、足球場、排球場，并經常組織球類比賽活動，組織了“紫電隊”“熱血隊”“雄鷹隊”等運動隊，并與當地政府官員舉行足球比賽。

1943年，縣中附設“簡師班”，招收學生50名，學制一年。1945年設8個班，學生357名。

抗戰勝利，縣中遷回縣城黌學舊址。（即今懷遠三中北院）時任校長王華生。

建國時期的懷遠縣聯合中學

1949年元月，懷遠縣城解放。2月，副縣長陳旭召集省中、縣中、簡師三校留校教職員工開會，宣布三校合并為“懷遠縣聯合中學”，由陳旭兼任校長。學校工作的負責人先后有王振先、孫繩武。秋，學校更名為“皖北地區懷遠縣立中學”，1950年8月，改名為“皖北地區懷遠中學”。招有高中班3個，初中班5個，學生588名。

三年困難時期的懷遠城關初級中學

1960年夏，國內出現了一種辦學形式——“小學戴帽”，即小學招收初中生。當時，城關小學開始“戴帽”，招收兩個初中班，百余名學生。在教學條件十分困難的情況下堅持辦學。校長韓文華，副校長宋長涵。1961年夏，初中班遷至黌學縣中舊址，單獨設校，定名為“懷遠城關初級中學”當年招收3個班新生。校長是唐遠涵。先后擔任校長的還有王朝清、張祚芳。

“文革”中的懷遠縣東方紅中學

1966年6月，“文化大革命”開始，學校的許多教師受到批斗，教育工作受到沖擊，教學設施遭到破壞。原黌學有正殿、偏殿，是過去祭祀古代教育家孔子的神圣殿堂，有不少碑刻記錄著黌學興衰的歷史，還有一座一排三門的巍峨石牌坊——欞星門，都一并成了“紅衛兵”“破四舊”的對象，石碑被砸爛，石牌坊被推倒。學校北院還有一處古跡“狀元橋”早已蕩然無存。當時，社會上刮起哄改校名之風，一中名為“反美中學”，二中名為“紅衛中學”，城關初級中學則名為“東方紅中學”。

1968年，“工宣隊”進駐學校，“復課鬧革命”。1969年，一中下遷農村分點辦學，原校更名為“工農兵中學”。“東方紅中學”被一分為二，一部分教師分到工農兵中學，一部分留在本校。成立了“東方紅中學革命委員會”，校長張祚芳任革委會主任。1970年6月，楊連鳳調任學校革委會副主任兼黨支部書記，主持學校工作。1971年春，學校增設高中，招生兩個班，學制2年。英語教師孫久星教學成績突出，學生在地區和縣英語競賽中穩獲，孫久星在宿縣地區觀摩教學中受到好評。

師生自己動手，建造教學大樓。因學生不斷增多，校舍嚴重不足，學校又無資金，于是學校決定，師生自己動手，建造教學大樓。請來技工開山鑿石，師生自己動手勤工儉學，砸石子，運石料，又經多方求援，學校的一棟教學大樓終于在1975年底建成。在建樓過程中，既鍛煉了師生的意志，學到了勞動技能，也培養了師生的吃苦耐勞精神和熱愛勞動的情操。學校在教學中成績突出，在全縣學科競賽中，英語穩居榜首，數學、理化也多次獲得，體育成績顯著，多次在縣中學生運動會上名列前茅。藍球運動成績優異。

改革開放時期的懷遠第三中學

1976年，粉碎“四人幫”以后，恢復了正常教學秩序和招生考試制度，教育逐步走上正軌。1978年，學校恢復秋季招生，被哄改的“東方紅中學”校名改為“懷遠第三中學”，請省著名書法家張愷帆為學校題寫了校名，現鑲嵌在學校綜合樓正面墻上的“懷遠第三中學”六個蒼勁、灑脫、雋秀的大字，金光閃閃，熠熠生輝，從很遠就能看得見。這就是現在的安徽省懷遠第三中學。

從此，懷遠三中走上了騰飛的歷程，德育、智育、體育全面發展的教育方針得到全面貫徹，學校教育教學質量不斷提高，辦學水平不斷提升。培養出大批人才。成為蚌埠地區乃至皖北地區有名氣的學校。

2009年，學校分解為初中部和高中部。初中部址于涂山腳下，更名“懷遠縣第五中學”（2011年初中部與其他學校合并，更名為“懷遠荊涂學校”），高中部位于遷至渦河北部的新城區，名“懷遠縣第三中學”。