薄一波审时度势，建议组建一支新军，得到阎的同意。北方局对这一工作极为关注，指示今后工作的重点应当放在掌握武装上。从此，山西省公开工委的工作重点转到了组建和发展新军上来。
1937年8月1日，以原来的军政训练班、民训干部教练团和国民兵军官教导团第8、第9团各一部组成山西青年抗敌决死队第1总队（相当于团），薄一波任政治委员，各级军事干部由阎锡山委派旧军官充任，政治干部绝大部分由“牺盟会”派共产党员担任。决死队在成立后一个多月的时间里，迅速发展为4个总队。到1938年初由原来的4个总队扩建为4个纵队（相当于旅）。第1纵队，由鲁应麟（旧军官）任纵队长，薄一波任政治委员，下辖第1、第2、第3总队；第2纵队，由陈庆华（旧军官）任纵队长，张文昂任政治委员，下辖第4、第5、第6总队；第3纵队，由陈光斗（旧军官）任纵队长，戎子和任政治委员，下辖第7、第8、第9总队；第4纵队。由梁浩（旧军官）任纵队长，雷任民任政治委员，下辖第11、第12、第13总队。
由牺盟会组织起来的新军部队还有政卫队和4个支队。1938年秋，政卫队扩大为旅级单位，张韶芳任代司令兼政治主任，下辖10个支队（营）。
1939年春，政卫队改为政卫旅。与此同时，中共地方党及牺盟会先后在晋西南地区组织起若干支自卫队和游击队。1938年秋，将这些自卫队和游击队统一整编为政治保卫第1、第2、第3支队。是年冬，又将活动于晋南地区的县自卫队改编为政治保卫队第4支队。
此外，在“九·一八”六周年之际，中共太原市委恢复了总工会，成立了山西工人武装自卫队（相当于团），简称工卫队，由郭挺一任队长，侯俊岩任政治主任。
在牺盟会各项工作迅猛开展的同时，第2战区民族革命战争战地总动员委员会也迅即组成。
1937年9月，周恩来以中共中央代表的身份抵达太原后，与阎锡山等多次会谈，商定在第2战区行营直接指挥下，成立有共产党、八路军代表参加领导的战地总动员委员会。9月20日，第2战区民族革命战争战地总动员委员会（简称动委会）在太原成立。国民党爱国将领续范亭任主任，中共代表程子华任人民武装部长，南汉宦任组织部长。动委会成立后，活动于晋北及察哈尔、绥远全省，积极配合八路军、牺盟会动员群众，组织人民自卫军，开展游击战争。
1937年11月，首先以太原、清源、交城、文水和汾阳等县游击队合编为抗日游击第1路纵队，程子华兼任纵队司令，下辖第1、第2、第3、第4、第5支队。到1938年3月，动委会先后共组建了25个基干支队。8月，第4支队随第120师大青山支队挺进绥远，开辟大青山抗日根据地。其余部队整编为晋西北保安第2区队，续范亭任司令员。到1939年夏，保安第2区队又统一整编为陆军暂编第1师，由续范亭任师长。这支部队是山西新军的一个组成部分。
山西新军在共产党的领导和八路军的帮助下，不断发展壮大，到1939年冬，下辖决死队4个纵队、第207、第209、第212、第213旅，暂编第1师及山西第3、第5、第6行政区组建的保安司令部所辖保安团，共发展到50个团，计5万余人。
山西新军在建制上归第2战区的晋绥军，实际上是在中国共产党领导下的抗日武装，是中国共产党抗日民族统一战线正确路线、政策和策略的产物。
山西新军建立后，即分别活动于晋西北、晋西南、晋东南地区，积极配合八路军发动群众、建立根据地，广泛开展抗日游击战争，为华北敌后战场的开辟及坚持敌后抗战发挥了重要作用。
二、河北人民抗日武装的建立和游击战争的发展
中共河北省各地方组织，遵照中共中央和北方局的指示，于“七·七”事变之后即在平西、冀中、冀南等地发动群众，建立人民抗日武装，展开了轰轰烈烈的抗日游击战争。
1937年8月10日，在中共北平市委和“东特”＇中共北方局为了对流亡北平的东北军家属和学生进行群众抗日救亡工作，成立了“东北工作特别委员会”，简称“东特”。＇ 的直接领导下，组成一支数十人的抗日武装，活动于北平郊区圆明园附近地区。8月22日深夜，他们砸开北平德胜门外的第二监狱，救出被囚禁的几十位共产党员和爱国志士，部队迅速发展到1000余人。9月5日，这支武装打起了“国民抗日军”的旗帜，由赵侗任司令，下辖3个总队。
12月11日，该部开赴阜平地区进行整训。后经八路军总部批准，编为晋察冀军区第5支队，由赵侗任司令员，高鹏任副司令员，下辖第1、第2、第3等3个总队。
第5支队整训后，即于3月下旬奉命返回平西地区。与此同时，晋察冀军区根据中共中央的指示，以第1支队第3大队为主组成邓华支队，进抵平西地区，为挺进冀东、开辟以雾灵山为中心的冀东抗日根据地进行准备工作。
两个支队相互配合，积极袭击日军，连续攻克敌军据点，逐步开辟了房山、涞水、良乡、昌平、宛平等县的抗日工作，建立了3个联合具政府和抗日救国会，使平西抗日根据地初具规模，为八路军向冀东挺进创造了条件。
在冀中地区，抗日斗争也迅速发展起来。
“七·七”事变后，中共保属特委南移石家庄，改组为平汉线省委，李菁玉任省委书记，统一领导河北省中部地区的各项抗日工作。石家庄夫陷后，平汉线省委西迁阳泉与八路军第129师会合，所属保东、保南特委于1937年10月10日合并为保属省委，张君任省委书记，继续领导该地区的抗日斗争。此时，在延安抗日军政大学学习的红军团长孟庆山受中共中央派遣，回到家乡冀中，在高阳、蠡县、任丘、安新一带发动群众，组织抗日武装。
10月中旬，国民党军第53军第691团团长吕正操（共产党员）遵照中共北方局回师北上抗日的指示，脱离向南撤退的国民党军，率部回师抗日。
10月14日，该部在晋县小樵镇改编为人民自卫军，吕正操任司令员。
部队改编后，继续北上，经博野、蠡县，攻占高阳，并收编了驻高阳的的保安团。到12月上旬，人民自卫军即发展到3000余人。
12月12日，人民自卫军主力赴平汉路西阜平地区进行整训，部队军政素质大大提高。
在人民自卫军去平汉路西整训的同时，中共保属省委将省委之军委改为河北游击军司令部，由孟庆山任司令员，统一领导中共地方组织在冀中区组建的各抗日武装。游击军司令部先以一些县人民自卫团为基础扩编成了第1、第2、第3等3个师，又以加委和收编的方式组成了13路抗日武装部队及3个直属团。
1938年1月中旬，人民自卫军整训后由平汉路西返回冀中。1月下旬，中共保属省委改为冀中省委，鲁贲任书记。人民自卫军与河北游击军在冀中省委的领导下，相互配合，积极袭击日军据点，收编和消灭了10余股游杂武装。2月间，人民自卫军以独立第1团组成北上先锋队，赴大清河北地区开辟工作。该部连克新镇、霸县、永清等县城，并收编了安次、武清、霸县、永清、固安等地联庄武装4000余人，初步打开了大清河北的抗战局面。3～4月间，人民自卫军和河北游击军在反击日军对冀中地区的春季“扫荡”中密切配合，共与敌进行大小战斗100余次，毙伤日伪军1000余人，自身伤亡600余人，并先后收复河间、高阳、安新等县城，充分显示了冀中军民团结抗战的威力。
1938年4月下旬，冀中区召开第一次党代表大会，进一步统一了冀中区党、政、军的领导。会后，中共冀中省委改为冀中区党委，由黄敬任书记。
接着，又成立了冀中行政主任公署，吕正操兼任主任。各专区成立了专员公署，健全了县、区、村各级政权机构。5月4日，人民自卫军和河北游击军合编为八路军第3纵队，同时成立了冀中军区，军区机关兼纵队机关，吕正操任纵队兼军区司令员，王平任政治委员（8月任职），下辖第7、第8、第人第10等4个支队，并成立4个军分区，至此，西起平汉铁路，东至津浦铁路，北迄平津铁路，南达沧（县）石（家庄）公路的冀中抗日根据地初步形成。
在冀南地区，中共中央北方局于“七·七”事变之后即派马国瑞等回到冀甫，组成冀南特委，领导当地人民群众开展抗日游击战争。他们先后在南宫一带组建了八路军别动大队，在赵县、藁城、栾城一带地区组建了抗日义勇军第5支队，在巨鹿也组建了抗日游击武装。特委还派遣一批共产党员，对游杂武装进行争取工作。在共产党的影响和帮助下，赵辉楼等人也在宁晋、束鹿一带成立了民众抗日自卫军。上述工作的开展，为冀南抗日根据地的创建打下了一定的基础。
1937年12月中旬，八路军第129师挺进支队，由辽县进入冀南地区的任县、隆平、尧山等地开展抗日活动。部队很快发展到三四百人，并将部分农民和收编的地方武装组成了两个游击支队。同月，第129师组成八路军东进抗日挺进纵队，由陈再道任司令员，李菁玉任政治委员，于1938年1月挺进冀南，与先期到达的挺进支队会合。他们先后在巨鹿等县建立了动委会，改组了南宫县政府，收编、改编了巨鹿、南宫等县保安团（队）和冀县的部分地方势力武装，争取了威县伪军警备旅反正。
力争取冀南地区各色地方武装共同抗日，东进纵队经与河北20民军赵云祥部及青年抗日义勇军团段海洲部协商，由三方各派代表参加，成立了统一战线组织“冀南抗日军政委员会”，陈再道为主任委员，统辖冀南各抗日部队。军政委员会的建立，是八路军在冀南执行共产党的抗日民族统一战线政策所取得的一个重大胜利。
为了加强冀南的领导和军事力量，第129师政治部副主任来任穷率骑兵团于1938年3月19日开赴冀南。
20日，中共冀鲁豫省委在南宫成�