一九二七年年底，徐向前被派往广州，参加了由共产党人张太雷、苏兆征、叶剑英等领导的广州起义。起义失败后，起义部队决定将仅存的一千四百多人整编成一支红军队伍。当时起义军所知道的红军，有由朱德领导的南昌起义部队改编的红一师，由海陆丰地区红色武装改编的红二师，以及由琼崖游击队改编的红三师，于是他们决定叫“红四师”，徐向前先后出任红四师参谋长、师长。这支红色武装在东江地区坚持了两年之久，直至在国民党军队的残酷捕杀中伤亡殆尽。一九二九年，在党组织的安排下，徐向前和红四师仅存的几名干部被转移到香港。不久之后，徐向前再次转道到达上海，他化名余立人接受了一位商人打扮的共产党干部的指示：“鄂东有块根据地，基础不错，那里需要军事干部。”徐向前后来才知道，与他谈话的人就是当时的中央军委书记杨殷。谈话之后不久，杨殷就因叛徒的出卖而被国民党当局杀害。而杨殷所说的“鄂东有块根据地”，就是中国共产党创建的鄂豫皖根据地。

鄂豫皖根据地，中国工农红军第四方面军的发源地。

鄂豫皖根据地是在发生于湖北的黄麻起义、河南的商南起义和安徽的六霍起义的基础上形成的。一九三〇年，根据中共中央给鄂豫皖边特委的指示，转战在鄂豫皖根据地的三十一师、三十二师和三十三师被编为中国工农红军第一军，其领导人是：军长许继慎、政委曹大骏、副军长徐向前、政治部主任熊受暄，全军两千一百余人。同时，鄂豫皖边特区苏维埃政府也随之成立，主席是甘元景。至此，鄂豫皖根据地正式形成——那时，正是国民党军向刚刚形成不久的中央苏区开始第一次“围剿”的时候。

第一军成立后，利用军阀混战的有利时机，很快就使部队发展到六千多人，根据地也得到了扩大和巩固。一九三一年初，红一军和转战在鄂皖边界的另一支红军武装红十五军合并为红四军，徐向前出任参谋长，继而出任军长。红四军成立后，连续三次粉碎了国民党军对鄂豫皖根据地的“围剿”。这时候，中央向全国各个根据地派遣了大批领导干部，被派到鄂豫皖苏区的，是中共中央政治局常委张国焘、中央候补委员沈泽民和陈昌浩。于是，以张国焘为书记的中共中央鄂豫皖分局成立了。

一九三一年十一月七日，中国工农红军第四方面军于湖北黄安七里坪正式成立。第四方面军辖第四军和第二十五军，兵力三万人。徐向前任总指挥，陈昌浩任政治委员，刘士奇任政治部主任。红四军军部改为方面军总部，下辖第十师，师长倪志亮、政委甘元景；十一师，师长王树声、政委甘济时；十二师，师长陈赓、政委刘杞。