1928年4月，蒋介石下野后复职，开始了第二次北伐。
其间，刘峙和顾祝同分别率第1军和第9军沿津浦线向孙传芳发起进攻。刘峙的第1军沿铁路正面攻击，顾祝同的第9军担任津浦路左翼攻击。当时何应钦认为顾祝同比刘峙稳健能干，且何与顾私交甚好，因此计划将第1、第9两个军归顾祝同统一指挥。但命令尚未下达，前线已经开火。
在最初与直鲁联军张宗昌的交战中，刘峙与顾祝同协同作战，势如破竹。在临淮关，两军开始与孙传芳部接触。然而攻占临淮关后，顾祝同担心自己的部队前突吃亏，打得异常保守。后来风传撤退命令，顾祝同不假思索，立刻率部后撤。
而刘峙未接到后撤命令，也没有与其他部队联系，仍继续向蚌埠前进，结果在长淮卫与孙军遭遇，击退敌军，占领蚌埠，从容摘取头功。
此战结束后，何应钦表扬了刘峙，对顾祝同虽未追究，但改变了以往对二人作战能力的看法，认为刘峙是“福将”，而且沉着善战，遂加以重用。此后在相当长一段时间里，由刘峙统一指挥第1军与第9军，升官也总是刘峙在前，顾祝同在后。
此后刘峙屡战屡胜，一时名声大噪，在1929年3月召开的国民党三大上，37岁的刘峙当上了中央执行委员。
二次北伐结束之后，南京国民政府从形式上完成了全国统一大业。但在国民革命军内部，各军政派系仍承袭原军阀派别，形成事实上的新的地方割据势力。为了将军权集中于中央，南京国民政府提出“统一军政”、“实施训政”的口号，对全国军队进行缩编，各地方实力派却都不愿意裁减军队，纷纷采取消极抵抗的态度。