《解放军报》社收到此信后，立即停止批评大比武。
1977年3月，罗瑞卿出席了中共中央军委召开的座谈会。在会上，叶剑英提出，全军要紧密联系部队实际，深入揭批“四人帮”，要用马列主义、毛泽东思想，把被“四人帮”颠倒了的路线是非纠正过来，把部队建设好。他提出，要在全军开展“十个应该不应该”的讨论。随后，《解放军报》组织撰写了10篇文章，在当时最迫切需要同林彪、“四人帮”划清界限的10个问题上肃清林彪、“四人帮”的影响，以保持军队建设的正确方向。
罗瑞卿对这一讨论非常关注。《解放军报》发表的每一篇文章，他都认真阅读。《解放军报》社准备将这十篇文章汇集成小册子出版时，罗瑞卿又从头到尾对这十篇文章做了审改。他还亲自写稿参加讨论。5月31日，他在住院期间写信给《解放军报》社长华楠，提出准备搞两个短篇，题为《林彪全盘否定一九六四年军训是个阴谋》和《戳穿“四人帮”在民兵问题上的鬼把戏》。随后，他同军报帮他记录整理的记者详谈了自己的构思。在记者按他的想法整理成文后，他又精心修改，然后以“本报记者”名义。分别发表于《解放军报》7月9日和6月17日。他还以“一读者”的名义为军报写了《江青破坏学雷锋运动由来已久》。这些文章对深入揭批林彪、“四人帮”起到了指导作用。
在这一期间，他还给许多冤假错案的受害者向中共中央和军委转信，为平反这些案件而引线搭桥。
1977年8月，中共第十一次全国代表大会在北京举行，罗瑞卿当选为中央委员，并被任命为中央军委常委、军委秘书长。
罗瑞卿到任时，军队由于在十年浩劫中遭到林彪、“四人帮”的破坏，问题成堆，百废待兴。当时，“两个凡是”还禁锢着人们的头脑，实事求是作风遭到背弃，说大话、空话、假话盛行，军队的优良传统被破坏，派性猖獗，内耗严重。有些科研项目被迫取消，拉大了武器研制和装备同国外先进水平的差距。机构臃肿，员额膨胀，人浮于事。规章制度废弛，纪律松懈，各类事故层出不穷，部队战斗力下降。1975年，邓小平曾将这种状况概括为“肿、散、骄、奢、惰”，并提出进行整顿，但在“反击右倾翻案风”中又被冲掉了。
罗瑞卿作为邓小平的助手，一复出便首先抓整顿，并将邓小平所说“军队要整顿，要准备打仗”作为军队各项工作的纲。
当时，受历史条件的局限和“文革”中“左”的错误的影响，十一大仍然在强调以阶级斗争为纲。要用以整顿为纲来取而代之，既要有清醒的认识，更需要无所畏惧的革命精神。
1977年秋季，罗瑞卿负责筹备军委全会，他曾多次对起草文件的工作人员说：“以阶级斗争为纲，这其实是一根打人的棍子。林彪、‘四人帮’阶级斗争为纲不离口，就是为了打人。”他在向叶剑英、邓小平请示报告后对《解放军报》社长华楠等说：“军队还是以‘军队要整顿，要准备打仗’为纲，把深入揭批林彪、‘四人帮’作为当前的首要任务。如果说阶级斗争，这也可以说是阶级斗争的具体表现。有人如果要挑刺也挑不出来。”
“以阶级斗争为纲”，这是毛泽东关于“文化大革命”的错误理论的基石。撼动这块基石，是破除“两个凡是”，彻底否定“文化大革命”的先声。
从1977年秋天开始，罗瑞卿即围绕整顿，开展了多方面的工作。在思想上，他力主彻底批判林彪、“四人帮”。他大力支持《解放军报》冲破只让提批右不让提批“左”的障碍，主张揭露林彪、“四人帮”极左的面目。当他在一份文件中看到提及活跃在“文革”期间的“风派”和“震派” 人物后，他对起草文件的同志说：“我考虑再加一个，叫‘溜派’，也应该揭露。这种人当年紧跟林彪‘四人帮’，欠下了不少账，却装得一贯正确，企图溜之大吉。这种人遇到一定的气候条件，又会兴风作浪，也是一种危险人物。”他建议《解放军报》撰写专文揭露这三种人。当他看到这三篇文章后，高兴地说：“这样的文章不仅现在有用，将来也用得着。因为在政治斗争中，过去、现在和将来都会有这种人。必须提高对他们的鉴别力和抵制力，不让他们败坏党的风气，危害党的事业。”1977年8月29日，罗瑞卿在军委座谈会上又说：“在调整领导班子时，要特别注意那些专门说假话，挑拨离间、搞两面派的人，不能让这种人进领导班子。过去毛主席专门要我好好看看《红楼梦》里写的一段话，讲王熙凤‘嘴甜心苦，两面三刀，上头笑着，脚底下就使绊子，明是一盆火，暗是一把刀，都占全了。’毛主席还在一篇文章中揭露了那些像李林甫那样的‘口蜜腹剑’的假朋友。开七大时，毛主席还痛斥过那些专搞偷、装、吹的人。我们调整班子，就要防止这些‘上头笑着，脚底下就使绊子’、‘口蜜腹剑’和搞偷、装、吹的人进入领导班子，特别是不能让这样的人当军政第一把手。”在作风上，他主持开展了以三查三整（即查斗志、查纪律、查作风，整顿“软、懒、散”、整顿官僚主义和整顿作风）为中心的整党整风运动。
在组织上，他积极批转信件，酝酿和着手平反冤假错案，但是，他却从未提出给自己平反的任何要求。当郝治平问他时，他说：“不要急，现在党有难处。我们不能给党增加困难。”他感到，让他出来工作就行了。