10月，陈诚被何应钦免去师长之职。对此，陈诚极不服气，认为自己抱病上阵，打了胜仗，无功也就罢了，反倒受过，显然是何应钦排斥异己，并对人发牢骚说：
“蒋先生下野，也是被何应钦联络白崇禧的桂军逼走的。他们对浙籍军人是要排挤的。”
从此，陈诚与何应钦结怨。
当时严重尚在南京任军委会军政厅长，随即代为周旋，向何应钦解释误会，并保荐陈诚任军政厅副厅长，旋任代厅长。但陈诚自觉与何应钦合不来，很少去南京，大部分时间在上海、苏州“养病”。
1928年年初，蒋介石复职，不久即任陈诚为总司令部中将警备司令兼炮兵指挥官，下辖警卫第1、第2、第3团，宪兵第1、第2团，炮兵第1、第2团，如此一来，陈诚部下的实力比一个军还雄厚。
同年年底，张学良宣布东北易帜，蒋介石初步“统一”全国。为削弱白崇禧、李宗仁以及冯玉祥、阎锡山等国民党新军阀的实力，蒋介石开始“编遣”全国军队。何应钦任编遣委员会常务委员兼中央编遣区主任，要求各集团军奉还大政，归命中央，同时要求撤销警备司令部。