但是，它并不是中央任命的军委会，只是个适应急需的工作组织。
1953年7月，朝鲜战争结束，彭德怀正式回国。
1954年9月，全国人大任命彭德怀为国务院副总理兼国防部长，聂荣臻离开了总参。粟裕任总参谋长。黄克诚被任命为国防部副部长，仍兼副总长，负责军委。总参的日常工作。当时，军委和总参是一个办公厅，还没有以后那样详细的分工。
1954年11月，中央正式任命以毛泽东、邓小平和后来受衔的十位元帅，共十二人组成军委会，毛泽东为军委主席。
随后，毛泽东召开了第一次军委会议，正式把军队工作交给彭德怀主持，彭德怀成了常务副主席，重大问题则由军委开会决定，报中央及主席批示。
黄克诚虽然不是军委委员，但因工作需要，实际上早就担任了秘书长的职责，帮助彭德怀做日常工作，成为彭德怀抓军事的主要助手。
1958年6月，毛泽东在军委扩大会议讲话时曾说过：“我四年未管军事，一切推给彭德怀同志……不是军事工作都搞坏了，基本上搞得好……讲责任，第一是我，第二是彭德怀，第三是黄老，因为他是秘书长……”
毛泽东的这番话，就是针对上述情况而言的。
处于开创时期的军委、总参，工作问题多得不得了。
那时，我们的各军、兵种都在初建，领导者都是身经百战的将军，魄力大、个性强、工作积极性非常高，都要在新岗位上作出新贡献。他们都向军委、总参、总后强调自己这个部门的重要性，争取多拨一些经费。他们要钱要物资、要外汇，争论得不可开交。这只能由军委、总参会同总后解决。这样，黄克减就成为协调各部门关系的主要人物之一。
在一次会议上，黄克诚曾经苦口婆心地劝导各部门的负责人说：“我们要顾全军队全局，只强调某个局部是不行的，平均主义的分配也是不行的。我们都是高级将领，都懂得战时不能平均使用兵力，必须从全局考虑，有主次、善配合，才能打胜仗。规在建设也一样，要全面考虑，区别缓急，先抓重点、急需的工作。比如：海军要建设舰队，当然是合理要求，但费用大、时间长，不是我们目前力所能及的，就应把它当作长期任务来考虑。海军目前重点是海防，可以先抓急需，搞那些既能加强海防、又能建设较快、费用较低的。空军在建军中是当务之急，我国因没有空防，抗美援朝时牺牲极大，建设空军队伍比海军舰队费用要少一些，而需要更急一些，所以，我们应考虑重点先建空军……”
像这样摆情况、讲道理，同时虚心倾听并吸收大家合理的意见，问题一般就比较容易解决些。
当然，也有一些高级干部坚持己见，甚至对负责这方面事务的干部大吵大闹乃至大骂。使这些干部感到很苦恼，甚至不愿干这个工作了。
对此，黄克诚耐心地劝说他们：“我们不要怕挨骂，当面骂就和他讲道理，背后骂就只当不知道。共产党员只要做的事对国家。对党有利，就要能任劳任怨，挨骂、受委屈都是光荣的。对工作要从党性原则出发，不要计较个人得失。”
为了军队的逐步现代化，我国在十分困难的情况下，很快建立了一套军事工业体系，建立了各种军事工厂，建立了国防工办，并建立了军事工业学院。
我国不但自制先进的常规武器，自制飞机舰艇，而且设立了国防科研系统，开始研究国际上先进的尖端武器。为此，军委决定建立国防科委，由聂荣臻元帅负责领导国防科委工作。
当时，我国有许多热爱祖国的、高水平的科学技术专家，为了建设新中国，不少人抛弃了国外的良好条件和优厚待遇，甘愿在祖国困难的条件下，从事国防科研工作。他们和一大批从事这方面工作的同志作出了巨大贡献，使我国在短期内就能屹立于两个超级大国之间，这方面的成就曾使世界震惊。
在这令世界震惊的伟大成就里，凝结着黄克诚的巨大心血。
共和国不会忘记人民的功臣。
1955年，我国举行了授衔、授勋仪式。
黄克诚，以他卓越的战绩和对党对人民的赤诚，被授予大将。
1955年10月，黄克诚被正式任命为军委秘书长。
1956年11月，黄克诚又被任命为军委委员。
1956年，彭德怀在党的第八次全国代表大会上作了军事报告，报告中说：“我军已实行了有计划的整编，先后集体转人生产部门的部队，有三十一个师零八个团。转业干部、复员士兵已达五百万人。目前我军员额，包括征集的新兵在内，比解放初已减少二百七十万人。我军已在原来步兵的基础上，建立了空军、海军、防空军、公安军，以及炮兵、装甲兵、工程兵、铁道兵、通讯兵、防化兵等诸军兵种……”
改革进行得不慢，但仍没有达到预定的要求，精简、整编工作继续进行。
1956年10月，军委责成黄克诚研究裁军方秦，在1957年1月的军委扩大会议上，作出裁减和整顿军队的报告。此后，1958年的军委扩大会仍把精简整编作为议题之一。这说明了精简、整编工作的繁重性和经常性。
和平时期，机构人员总有一种不断扩大的趋势，这种趋势不但导致机构臃肿，军费膨胀，而且导致官僚主义、文牍主义，使工作效率低下，办事不灵，互相推诿，无人负责。所以，精减机构、整编是个做不完的艰巨的工作。
与精简、整编密切联系的是兵役制的改革问题。
我军历来实行志愿兵制度，全国统一后，必须适应新情况而有所改变。
方法是实行义务兵役制。
实行义务兵役制，合格青年适龄入伍，定期退伍为预备役。这样，可使国家积蓄大量的受过军事和技术训练的预备役兵员，战时不愁没有补充。
中央军委决定1954年试行“义务兵役法”，取得经验。1955年，我国正式颂布“兵役法”，实行“义务兵役制”。同时，颁布了“军官服役条例”，使我军的战士与军官都有预备投人员储备，而我常备军则可保持着年青的朝气。建国初期，西方发达国家对我国敌视、封锁。
苏联为帮助我国建设，在此期间给了我们很大的支援，在各方面派了大批顾问、专家。我国早期重工业基础的建立，早期军事工业基础的建立，从设计到施工，从提供技术、设备，到指导施工及试生产，都得到他们的大力帮助。
在建军方面，苏联派了总顾问和一批专业顾问，提供了他们的经验和各种资料给我们借鉴。
当时，毛泽东主席号召学习苏联的先进经验。但对如何学习苏联经验，黄克诚还是有自己考虑的。黄克诚认为，我们不应当不考虑自己的国情和历史，决不能轻易丢掉自己的好经验、好传统。对苏联的经验，我们只能从实际出发，或采用、或不用、或修改之后再用。
这也正是毛泽东一贯的思想方针。
基于上述思想，解放军没有学习苏联的“一长制”。
1953年9月，中央军委正式确定军队的领导体制为党委领导下的首长分工负责制。
司令员和政委有分工之别，无上下之差，意见有分歧，特别是对待关系重大的问题，由党委会作决定。
军队的政治工作，保证解放军永远是党领导的人民军队、革命军队，决定着军队的性质。
军队的上下关系、官兵关系、军民关系，都有着非常优良的传统，决不可以丢掉，长期艰苦斗争中总结出来的宝贵经验，应当世代相传。
到1956年，军委工作已稍有头绪。虽然许多工作离做好和完成还有很大距离。问题仍然很多，但大体都有了安排，已经不像开始那样忙乱了。
彭德怀对黄克诚十分信赖。
每当彭德怀下去视察，或出国进行对外活动，就让黄克诚负责日常工作，并授权黄克诚可以召集联席会议，商讨问题，重大事情则请示军委处理。
1956年底，军委责成黄克诚于1957年初，在军委扩大会议上作整编、裁军的报告。
在这次大会上，彭德怀提出交班。退休的问题，要求大家做思想准备。
黄克诚十分支持彭德怀的这一建议，他认为，这是有远见的提法。当时，军队干部平均还不算老，高干年龄在50岁以下者甚多，但和平岁月易过，而功业有成就的同志容易忘掉自己的年纪，忽视这个培养接班人的问题。因此，及时提醒是有必要的。1958年，毛泽东主席亲自发动了轰轰烈烈的大跃进。
这年，毛泽东信心十足地到各地视察、开会，鼓舞生产、建设的干劲。在中共八大二次会议上，毛泽东号召全党“破除迷信，解放思想”。
随着“总路线”的提出，大跃进、人民公社搞得轰轰烈烈。军队中早就有人提过：我军仍有教条主义。毛主席讲话以后，一些同志就更忍不住了。
首先在军事院校中，不断有人提出“反教条主义”的问题。
毛泽东以为军队落后于形势，落后于地方，于是，便在成都会议上指出，军队应开一次整风会。
1958年5月，军委召开扩大会议。彭德怀在发言中说：会议主要任务是整风、改编，方式是大鸣放、大争辩。黄克诚传达毛泽东的号召：“把火线挑开，挑起战来，以便更好地解决问题。”
中央认为，军委扩大会议温度不够高，决定采用整风方式开会，会议发言与大小字报相结合，一周内使空气紧张起来。这实际上是中央领导军委整风，为彭德怀始料不及。这可能是，毛泽东在匈牙利事件之后，担心军队领导出问题。
这次会议之后，粟裕总长心情不快，他本来身体不好，就请假休息。军委决定让黄克诚继任总长。
1959年春，彭德怀出访东欧诸国，黄克诚主持日常工作。不久，庐山会议召开。
庐山会议，成为中国共产党党内生活的转折点，也成为