回到鄂州，经过一连两个月的集训，新入岳家军的将士在陈淬的鞭策下，取得了不俗的效果。而面对十万人的大军，岳飞自然欣喜，自从自己穿越到此处，已经三十三年了，直到此时，看着麾下兵强马壮，他心中第一次感到稍许安心。或许，这样的队伍，若是自己能够逃脱宿命中的大难，就可以将金人驱逐出塞外，真正做到当年岳武穆未尽的遗愿了吧。
军队扩充，当初立的各军已然不能满足需求，于是岳飞将岳家军再度整合为十二军。
一是背嵬军，扩至一万五千人，其中重骑兵八千，重装精锐步兵七千，一切依前例所行，仍由岳飞自己亲自指挥，高宠任背嵬军统领，何元庆仍为副统领。
二是前军，扩至一万人，骑兵两千，步兵八千，皆为半甲，仍由张宪为统领，岳云、严成方为副统领。
三是右军，如前军一般编制，仍用牛皋为统领，董先、伍尚志为副统领。
四是左军，如前军一般编制，仍用徐庆为统领，孟邦杰、严奇为副统领。
五是中军，扩至一万五千人，皆为步兵，重甲兵五千，轻甲兵一万，仍用王贵为统领，姚政、杨钦为副统领。
六是后军，如前军一般编制，仍用余化龙为统领，王经、傅选为副统领。
七是游奕军，设三千人马，杨再兴任统领，罗延庆为副统领，如前一般，专司游击，骚扰之职，仍为岳飞亲兵。
八是踏白军，设三千人马，施全任统领，武琛为副统领，如前一般，专司刺探敌情，斩首敌酋之职，仍为岳飞亲兵。
九是选锋军，设五千步兵，由攻克荆襄六郡时立有大功的李道任统领，胡清为副统制。
十是胜捷军，设五千步兵，以赵秉渊为统领。说到此人，却是与岳飞有一段渊源。这赵秉渊本是辽国旧将，归宋之后因功授江南西路兵马钤辖，屯兵洪州，而岳飞于洪州平叛时与其相识，但一日酒后，二人发生争执，在酒意上头的情况下，岳飞生生将其打断了四条肋骨，几乎丧命，足足将息了半年有余。因此事赵秉渊上书朝廷，要求调防，不愿再在岳飞手下。而岳飞在清醒之后大为后悔，亲自登门告罪，并誓言于军中再不饮酒，并上书朝廷乞罪，并极力要求赵秉渊留任。最终二人不打不相识，自此成为至交，而赵秉渊也在其手下屡立大功，因此得受重用。
十一是破敌军，设四千步兵，以李山为统领。而选锋、胜捷、破敌三军，皆为各军协防队伍，司职大军之补充作战所用。
十二是水军，自平定杨幺之后，岳飞深感长江之上，水师的重要性，又兼收获了杨幺大小战船无数，于是在旧有水军基础上再加扩充，最终选择水性精熟者万人成军。以杨虎为统领，阮良、耿家兄弟为副统领，专司长江之上各处巡防之职。
而后又有后备军三万余人，后勤军两万余人，皆由陈淬统领。各军之中营连所设，皆依前例，自此，岳家军大军彻底稳定下来，岳飞也深知兵贵精而不贵多，对各军的审核标准极为严格，并且实行末尾淘汰制。非战之时，三月一次大比拼，将各军排名靠后者，淘汰入后备军中，再将后备军中优胜者吸纳入各军。这种机制使得这十万人马人人争先，士气进一步提升。
随着人马的增多，军械之物所需便有增加，于是岳飞将自己辖区内的能工巧匠集中于鄂州，对刀枪甲盾等军需进行着力打造，而这其中，有一人不得不提，那便是岳飞在平定吉州偶尔所得的名匠，梁山好汉金钱豹子汤隆。
原来汤隆这些年流落各地，生活颇为艰辛，一日张宪巡城之时，偶尔在城中的铁匠铺外见到他的身影，识得是当年赠给自己虎头錾金枪之人，大喜过望，于是邀其一道去见岳飞。
汤隆与岳飞一番细谈后，对其为人甚是敬佩，于是便留在岳飞麾下，而岳飞将其任为后勤军中专管匠造的统领，使其一身本事能够尽数发挥。这也才有了攻克荆襄之地时的巨盾，重甲等物，这些皆是由汤隆指挥手下匠人着力打造。
而此次平定了杨幺，将湖南与江西一带也归到岳飞辖区之中，这让岳飞十分欣喜，因为他很清楚，这两处有大量的煤炭存于地下，而荆襄之地则盛产各类金属。这二者齐备，则可使全军上下军械再上一个台阶。
于是岳飞一面于鄂州治军，一面将后勤军分派各处，在湖南江西一带产煤处大量采煤，在荆襄所在寻找各类金属矿藏。而自己则与汤隆等工匠一同研究炼钢之事，
宋代炼钢之法在神宗时期得到了极为长足的进步，高炉冶炼法在这个时期得到了巨大的发展，而岳飞深知工欲善其事，必先利其器的道理，在岳家军初成的时候便开始大量地召集各类工匠以为己用。屯驻鄂州后岳飞利用长江水系的巨大优势，利用水力驱动风箱，再加之煤炭的使用，使炉温升至一千五百度，大量生产出了许多高碳生铁。而这些生铁再经过无数工匠的精炼、锻打、淬火等工序，制成大量的优质钢铁。而汤隆等能工巧匠的加入，更是令这些优质钢铁成为了武装岳家军的一件件利器，这也成了岳飞以这十万人的队伍驱逐金人的底气。
而除了整治军备之外，岳飞在鄂州另一件事情便是广邀各处有谋之士充作自己幕僚。观宋一代，崇文轻武，在文人眼中，武将皆被视为粗人，少有能深识义理者。而岳飞的出现，却是极大地颠覆了文人的这种观念，他在军务之暇，峨冠褒衣，扮作儒生于各处行走，常出入于各处酒楼书馆，听文人针砭时政，并且常常与之辩论，一旦发现看重的人才，便招揽入府，一时间使得其府上“食客所至常满，商论古今”。
宋时入各军任幕僚者常被人嗤之以鼻，号称“从军”，于是有“士大夫多耻从军”，“好士人岂肯从军”之说。但在岳飞麾下，因受其感召，却有不少爱国士人，以中兴大业为重，毅然带笔从于岳飞麾下。这其中大多是因岳飞对待文人的谦恭礼遇，使得这群文人大为感动，于是一时名人皆萃于幕府。而且岳飞看人极准，那些圆滑而看风使舵的角色皆被逐之不用，留于其帐下的皆有骨气，有棱角，坚持抗金的志士。