1930年(民國十九年)5月至10月的中國近代史上規模最大、耗時最長的軍閥混戰中原大戰爆發，馮閻兵敗被迫下野后25萬人退入山西各縣駐扎，蔣介石改組山西省政府，改編晉軍，山西時局混亂。中共中央決定把山西作為創建北方根據地的重點地區，對馮玉祥、閻錫山部隊加強滲透，爭取武裝起義改編為紅軍。1931年3月4日，中共山西特委軍委派谷雄一書記到高桂滋部隊建立黨的軍事行動委員會，親自領導組織兵變工作，依托五臺山開辟革命根據地。
1931年7月4日夜11點30分，駐平定地區西北軍高桂滋部第十一師一部武裝起義。5日，起義部隊行軍至盂縣清城村成立了北方第一支中國工農紅軍正規軍——紅二十四軍。6日早飯后，紅二十四軍政委谷雄一、軍長赫光率領1100多名官兵，打著繡有“中國工農紅軍第二十四軍”鮮紅大字的軍旗，向五臺山地區挺進。事前探聽到紅二十四軍成立并向五臺山進發的國民黨孟縣、五臺反動政府，分別召開緊急會議，立即派警察和保安團沿路相機阻擊。7月11日，紅二十四軍翻越盂縣與五臺縣交界的軍事關隘牛道嶺，以排山倒海之勢，浩浩蕩蕩抵達五臺縣柏蘭鎮，與地方反動武裝發生了激烈戰事。紅二十四軍經過兩個多小時的激戰擊敗了反動軍警，包圍消滅、繳械了前來增援的保安隊幾百士兵，生擒了保安隊副司令和國民黨五臺縣三區區長索某，占領了閻錫山保安隊設在柏蘭村西的電話局(現為村民李義良院)，切斷電話線，并把電話局作為紅二十四軍臨時指揮部。紅二十四軍優待俘虜，中午紅軍大宴俘虜，飯后赫光軍長給保安隊講話：“我們是中國共產黨領導的中國工農紅軍第二十四軍，是專門為窮人謀利益的，只有國民黨反動派才欺壓人民，你們大部分是窮苦農民，怎能做那些喪盡天良的事呢?我們紅軍寬待俘虜，愿意參加紅軍的，就跟我走，愿意回家的就回家?！闭f完，釋放了所有俘虜。紅二十四軍根據偵察敵情放棄進軍五臺山原計劃，當晚向黑山關進軍，隨后轉戰平山、靈壽、阜平。
7月18日，紅二十四軍進入阜平縣城，開倉放糧、釋放政治犯，并于7月26日召開大會，宣布阜平縣蘇維埃政府成立，這是共產黨在北方建立的最早的蘇維埃政權,被當時報紙稱為“北方之朱(朱德)毛(毛澤東)”,震動全國?？上У氖?，新生的阜平縣蘇維埃政府被張學良收編了的馮玉祥殘部利用詐降計絞殺，軍長赫光被害，政委谷雄一被捕(后被害于北平)。紅二十四軍參謀長劉明德率軍轉戰晉北、內蒙古、陜北一帶。1931年9月，紅二十四軍余部加入陜北紅軍。1933年8月編為陜北紅軍第三支隊，后成為紅27軍一部。紅二十四軍對陜北紅軍的成立和發展起到積極的推動作用，被紅軍研究專家親切地譽為“陜北紅軍之根”。
