濮阳的两个纵队即尾随邱清泉部往北跟进，与鲁西南的5 个纵队夹击第五军。
与此同时，粟裕还设想了另一个方案，即当第五军不好歼灭时，“先打开封，后歼援敌”。
5 月24日，南下两个纵队向淮阴前进，邱清泉果然尾追而去。粟裕立即指挥当时在黄河边的5 个纵队南渡黄河。不料，这一行动使南京的蒋介石大为惊恐，立即电令邱清泉停止尾追并回师鲁西南。同时，蒋介石又急调5 个帅增援鲁西南之敌，企图夹击我刚渡过黄河去的5 个纵队。这样一来，敌军在鲁西南的兵力已有9 —11个整编师，不但兵力远远超过我军，而且敌军队形密集，不宜分割，难以对第五军头施歼灭的计划。
但在这个时候，我南下的两个纵队已到达开封附近，相距只有1 天左右的行程，如果就势突然攻取开封，会使敌车措手不及。
粟裕想：既然一时捞不到大鱼，就先逮个中鱼、小鱼吃，于是决定把开封攻下来。
6 月15日，粟裕一边向中央军委和中原军区上报决心，一边向部队下达命令，准备向开封实施攻击。其具体作战部署是：以第三和第八纵队组成攻城集团，由陈士榘和唐亮指挥，先采取奔袭手段攻占城关。尔后依托城关阵地继续攻城。由粟裕指挥其余部队阻击增援开封之敌，保障攻城成功。其中，以中野第九纵插入郑州、开封之间，阻击郑州可能来援之敌；以中野第十一纵队并指挥冀鲁豫军区独立第一旅位于巨野地区，由北向南从侧后牵制邱兵团；以第一、第四和第六纵队迅速楔入定陶、曹县、民权、考城地区，用运动防御方式坚决阻击邱兵团回援开封；以冀鲁豫军区和豫皖苏军区一部兵力相机攻占东明，兰封（今兰考），并破袭陇海路兰封至野鸡岗段铁路。
6 月17日晨，中央军妥复电完全同意粟裕的部署，并指出：“这是目前情况下的正确方针”，“情况紧急时独立处置，不必请示”。
粟裕攻打开封，完全出乎敌军的意料之外。当我军即将发起战役时，敌人还蒙在鼓里。开封守敌认为我军是吸引国民党军队主力至鲁西南决战，“在开封无真正战斗”。国防部和徐州“剿总”，虽曾觉察到我第三和第八纵队有围攻开封的征候，但见我军两大集团南北对进，即认定我军企图夹击邱兵团，因而十万火急地向鲁西南调集兵力，要与我军进行决战，尤其可笑的是敌华中“剿总”，还坚持说我第三纵和第八纵队尚在方城以东地区。然而，我军却在敌重兵紧紧跟踪和严密监视的情况下，创造了歼敌的条件，捕捉到有利的战机，乘敌把注意力集中在鲁西南时，突然对开封守敌发起了攻击。
6 月17日晚，我三纵、八纵在陈士柒和唐亮的指挥下，向开封守敌发起攻击，三纵一部配合八纵，首先肃清了南关车站的农林试验场、东闸口、16营房范围以东及曹门关的敌人、准备由东面、北面实施攻城；八纵另一部首先肃清了南关车站之飞机场、17营房、7 营房以西区域及西门外之敌，准备由南面、西面实施攻城。总攻前，大部守敌被肃清。
18日夜晚11时，总攻开始。
夜幕笼罩下的古老的开封城，突然弹雨横飞，炮火轰鸣。我军用强大的炮火，支援突袭的攻城部队，仅用五六分钟的时间，我攻城部队就抢占了小南门城楼。
小南门丢失以后，敌人疯狂进行反扑，用密集的炮火封锁了小南门我后续部队的前进道路，使我入城的5 个排和后续大部队分割开来，情况十分危急。
陈士榘、唐亮命令部队，要不惜一切代价打退敌人的反扑。让后续部队跟上去，以解救城中腹背受敌的部队。
同时，陈、唐又命令部队加紧对宋门的攻击。宋门工事坚固，易守难攻，我攻城部队久攻不下。
宋门距宋门关约有七八十米的开阔地，再向外是一条壕沟（无水），深5 米，宽约20米，宋门的右侧约20米外，有一个三角地堡，低矮坚固，可容纳一个排的兵力，堡外挖有壕沟（无水）和铁丝网等附防设备；城门是用麻袋装土堵塞的；城门楼顶部筑有一个较大的89碉堡，周围有四五个小堡，与大堡互相沟通，是坚守城门的制高点，宋门两侧约100 米至200 米的城墙上皆筑有明、暗堡，组成交叉火力网，严密控制着宋门。
根据上级统一战斗部署，6 月19日晨1 时左右，我各种炮火向宋门猛烈
轰击，顿时宋门前沿烟雾弥漫，成了一片火海。在烟雾的掩护下，我部队的爆破突击队对宋门实施爆破。经过我爆破突击队的反复冲锋爆破，终于炸开了宋门，攻城部队开始向城内突击。
当宋门被我突破后，城内守敌在装甲车和炮火的掩护下，对我进行反击。
陈、唐令部队要不惜一切代价坚守住城门突破口，以保证后续攻城部队进城。
我八纵乘三纵突破宋问敌火力转向宋门之际，组织力量迅速扫清小南门外侧敌地堡群，再度控制突破口，主力部队随即打入城内与城楼坚守部队会合，随后又相继突破大南门和西门。这样，三纵、八纵主力部队全部突进城内。纵队指挥部也进城亲临指挥，各部队多路向敌人纵深穿插进行激烈巷战。
到6 月21日，开封守敌被全歼。
此役，共消灭敌人3 万余人，开封守备司令、整编第六十六师师长李仲辛被击毙，参谋长游凌云被活捉，缴获了大量粮款弹药。美联社6 月26日上海电称：“共军在开封所获物资、武器与军火，使其能把华中作战支持到夏季结束。”尽管这有些夸大，但华野确实缴获了6000多支库存步枪，3000多桶汽油，32门大炮，以及其他大批军用物资。为了能将这些战利品运走，陈士榘、唐亮请示华野首长专门向军委、中原局、华东局报告，命令四纵、特纵在兰封以西构筑阻击阵地，以求多控制一天，组织大批民工抢运战利品。
我军攻克开封，如同在敌人营垒里爆炸了一颗重磅炸弹，南京政府大为恐慌，蒋介石恼羞成怒。河南的监委、主委们又哭又闹，乱哄哄的不可收拾。
素与蒋介石有隙的国防部长何应钦，幸灾乐祸，称此次失败与国防部无关，开封整个战役都系蒋介石亲自指挥。
蒋介石是不会甘心失败的。开封之战结束不久，蒋介石又筹划了一个大会战计划，即把6 个兵团25万的兵力汇集河南杞县、睢县地区，力求聚歼粟裕主力。其具体部署是：邱清泉兵团5 个师由开封向杞县攻击，区寿年兵团2 个师由民权向睢县出击，黄伯韬兵团3 个师从商邱向睢县攻击，吴绍周兵团、杨干才兵团以及胡琏兵团从驻马店向杞县、睢县攻击。
中原风云突变。而此时，华野已连续行军作战一个多月，第三和第八纵队在开封战役及在此之前的宛东战役中，已伤亡近万人。其他各纵队虽然伤亡不大，但也相当疲劳。尤其是粟裕本人，因长时间紧张工作、指挥战役而病倒了，高烧不退。一天骑马行进中，因发烧昏迷，从马背上摔了下来，十分危险。于是，粟裕不再骑马，叫参谋找来一辆马车，他坐在马车上奔赴战场，进行指挥其后的恶战。
从驻马店增援的胡琏兵团在行进中被刘伯承、邓小平、陈毅阻于漯河、周口之间。粟裕当时见黄伯韬兵团离战场尚远，区寿年兵团又最弱，决心吃掉区寿年，但区与邱清泉距离太近，不便割歼。为了将邱、区两兵团隔开，以创造歼灭区兵团的战机，粟裕便命一部诱使邱清泉向西南追击。这样一来，粟裕即巧妙地利用了邱清泉急于西进开封捞取资本的心理，又造成了区寿年的判断错误和行动上的犹豫。果然，敌两个兵团，一个向西南疾进，一个却在原地踌躇不前，一天之内即拉开了40公里的距离。
战机来了。粟裕命我军迅速楔入敌两个兵团之间，也来不及查明区寿年兵团的具体部署，即向区寿年兵团发起攻击。
至6 月29日晨，华野部队己将区兵团部和整编第七十五师、新二十一旅包围于龙王店及附近地区，并完成了对敌七十五师各旅团的分割。同时，将
敌整编七十二师包围于铁佛寺周围地区。我阻援兵团控制了被包围之敌以西20公里之杞具至王店集一线，隔绝了邱、区两兵团。 29 日晚，华野突击集团以一部兵力继续包围敌整编七十二师，以主力对区兵团部和整编第七十五师、第二十一旅发起攻击，经两昼夜的激战，至7 月1 日中午，将敌整编七十五师的第六旅及新二十一旅全部歼灭。
7 月1 日下午，西边的邱兵团在我节节阻击下，进至距区兵团约10公里的官庄、张阁一线。东线黄伯韬兵团，由东向西增援区兵团，已抵达被包围的敌整编七十二师以东约10公里的帝丘店地区。东、西敌两个兵团一齐压来，形势异常紧张，是坚持还是改变原定战役的计划，必须当机立断，刻不容缓。
粟裕表现出巨大的决心和气魄，他一边加速攻歼区寿年兵团，一边又以4 个纵队东移，准备围歼黄伯韬兵团。
区寿年兵团被围，蒋介石极为惊慌。6 月30日，蒋介石偕空军总司令周至柔乘飞机到杞县上空督战，以杀头相威胁逼迫邱清泉迅速攻击前进，与区兵团会合。邱清泉即倾其全力，在飞机、坦克和大炮的支援下，对我阻击部队疯狂进攻。但我东西两线的阻援部队顶住了敌人的进攻，始终未使敌人的阴谋得逞。
7 月1 日下午4 时，粟裕在他的马车上下达了总攻区寿年兵团部的命令。
当日黄昏，残敌肃清，区寿年被俘，其参谋长林曦祥及七十五师师长沈登年也被活捉。
区寿年兵团被歼，已经达到预期的作战目的，按理说应该及时撤出战斗。
并且因为我军经连续作战，伤亡较大。加之战区久旱无雨，井河干涸，炎热夏季里，烈日暴晒，部队饮水奇缺，吃不下饭，体力渐弱。但是，当华野刚解决区寿年兵团之时，东面的黄伯韬兵团进展很快，已抵达帝丘店附近，对我军从东部撤出战场威胁很大。粟裕认为，若