1927年年初，宁汉分裂，蒋介石等将国民政府迁往南京，与武汉对立。同时南京政府于4月开始清党，捕杀共产党人。广东、广西亦配合清共。第四军在张发奎指挥下向武汉效忠。第十一军陈铭枢等则因与唐生智不和，离开军队赴南京，第十一军亦交张发奎指挥。其后武汉与南京分头北伐，第四军及第十一军在河南再大败张作霖奉军。同年月底，武汉方面决心分共，第四军军中国共产党员甚多。最终共产党于8月1日在南昌发动起义，由共产党控制的第四军一部分参加。南昌起义失败后，朱德、陈毅率领残部发动了湘南起义，失败后于1928年4月底赴井冈山与毛泽东会师后部队整编，改名叫中国工农红军，由于部队中大部分军官都来自国军第四军，而且第四军的“铁军”名头实在响亮，于是将番号定为中国工农红军第四军，这就是红军队伍中为什么还没有一、二、三军就只有个第四军的原因。