起初金国非常有信心将宋帝国彻底灭亡，但连遭败绩后以挞懒为首的主和派开始占了上风。在挞懒的牵头下，宋、金保持了一段很短的和平。当然，在此期间，中原的伪齐刘豫和江南的反抗势力仍需宋军辛苦征剿，他们虽然实力不强，但对宋王朝的威胁其实未必比金军小。岳飞在此期间立下不少军功，成长为独当一面的大将。绍兴元年（1131年），岳飞隶张俊讨伐叛将李成，在江西一带击败了李成十余万大军，李成被打成光杆司令后投奔了刘豫。岳飞又以相州老乡身份和自身威望直接招降了张用，江淮平定。张俊奏岳飞功劳第一，升神武右军副都统制、亲卫大夫、建州观察使。绍兴二年，曹成拥十余万众，占据湖南、广西交界处。李回命岳飞为权知潭州（长沙）、权荆湖东路安抚都总管，并授金牌、黄旗，有权招抚曹成。曹成听说岳飞来，吓得分兵躲进山。岳飞百般用计，既引蛇出洞，又奋勇进击，最后曹成不支请降。宋军征战岭南最怕热带烟瘴瘟疫，潘美、郭逵等名将都吃过苦头，唯独岳飞率领北方军士在盛夏进军岭南，竟无一人死于疠病。
成功后岳飞授武安军承宣使，又依次讨平了马友、郝通、刘忠、李通、李宗亮、张式等的反抗。绍兴三年春，宋高宗召岳飞觐见，岳飞的顶头上司江西宣谕使刘大中竟然不同意，理由是岳飞一旦离开江西，反抗就会出现。果然，岳飞前脚刚走，彭友等后脚就开始反抗官军，高宗只好让岳飞回江西去镇压。不久岳飞大败彭友，彭友请降，虔州（今江西赣州）平定。高宗手书“精忠岳飞”四字，作为岳家军的军旗，授镇南军承宣使、江南西路沿江制置使，后改神武后军都统制。南宋撤销御营司后将主力军改组为神武军，分前后左中右五军，分别以刘光世、岳飞、韩世忠、杨沂中（后改名杨存中）、张俊为都统制。也就是说，岳飞现在正式成为宋军五大主力战将之一。被岳飞剿灭的这些军事组织，正史上均称之为“盗匪”、“剧贼”等，现代的一些简史和史评称他们为“农民起义领袖”。事实上，参与这些部队的士卒们确实是因战乱失去生活来源的普通百姓，他们的灾难正是宋王朝政府给他们带来的，是可以理解的。
但有些组织头目则确实是利用了广大人民群众反抗精神的野心家，他们在国家最需要稳定团结的关键时刻拥兵自重，给国家安全带来了极大威胁。正如岳飞所说：“襄阳等六郡是恢复中原的基本，现在应先取六郡，以除心腹之患，使李成远遁，进而剿灭湖湘群盗。”岳飞趁金军略有收敛之机，以极快的速度剿平了这些军事组织，对南宋可谓有再造之功。试想如果宋军平定这些军事组织的速度稍慢一点儿，让金军缓过气来，南北夹击，形势就非常危险了！绍兴四年，伪齐派李成夹带了一些金军进攻湖北，连续攻占襄阳等重镇，与占据洞庭湖的杨幺相连。高宗诏令岳飞兼任荆南、鄂岳州制置使，反击李成。岳飞首先进攻郢州（今湖北钟祥），渡江中流，岳飞对部下说：“飞不擒贼，不涉此江。”大有东晋名将祖逖中流击楫的气概。李成兵将虽多，但岂是岳飞的对手，很快湖北六郡被收复。岳飞又进军邓、唐等州，将战线推入中原。金国派大将刘合孛堇率金军援助伪齐，结果被岳飞打成光杆司令，逃回金国。
高宗极度兴奋，喜叹：“岳飞怎么这么厉害啊！”收复湖北后岳飞奏请朝廷可在湖北屯田，俟机收复中原。宋廷将六郡合并为襄阳府路，由神武后军暂行军管。岳飞移屯鄂州（今湖北武汉），授清远军节度使、湖北路、荆襄潭州制置使，封武昌县开国子。岳飞31岁成为节度使，是宋军中的最年轻纪录，宋太祖29岁建节，不过他应该算是五代将领，不算在宋军中。绍兴四年底，伪齐伙同金军围攻庐州，高宗手札令岳飞解围。岳飞到庐州正遇敌5000铁骑，张开“精忠岳飞”军旗，金军大骇，一战而溃。绍兴五年，岳飞又授镇宁崇信军节度使、武昌郡开国侯，并封母姚氏为国夫人，同时高宗把征剿湖湘军的重任也交给岳飞。湖湘军是南宋最大的一股反抗势力，以洞庭湖为基地，首领杨太很年轻，所以人称杨幺。绍兴初年，宋廷只把湖湘军当做地方骚乱，先后派程昌寓、孟庚、李纲、折彦质等文官征剿，均大败而回。绍兴三年，宋廷以王■为荆南府制置使，率军6万、战船2000艘进剿。但湖湘军的造船和水战水平都已极高，大量使用车船、楼船甚至海鳅船，配备很多先进的大型机械传动武器。
王■在岳阳以西的洞庭湖阳武口遭到大败，官军战死万余，损失战船数百艘。宰相赵鼎只好从抗金前线抽调岳飞的神武后军这支王牌战队来对付湖湘军，并由宰相张浚督师。神武后军虽然在平原上冲杀厉害无比，却未习水战，而湖湘军正是依靠水战优势多次击败官军。不过岳飞也不是蛮将，他仔细思考，决定采取内部分化的策略。岳飞没有急于向洞庭湖进攻，而是封锁物资供应并大举招安。不多时，湖中便有黄佐、杨钦等大将投诚，岳飞以礼相待，授予他们官职，黄佐等人无不感激，愿为岳飞效死。岳飞又派他们回湖中做内应，严重打击了湖湘军。六月十一日，神武后军向洞庭湖大寨发起总攻。湖湘军一度利用车船抵抗官军，但岳飞在降将的帮助下，将湖湘军引入水浅处，再用巨筏围歼。湖湘军车船受阻于淤塞，只能分别被官军剿杀。杨幺投水欲逃，被岳飞部将牛皋擒杀，其余人纷纷请降。张浚感叹：“岳侯神算也。”这时岳飞的眼病却愈发严重，甚至要求暂时辞职养病，但没有获准，而是加封荆湖南北、襄阳路招讨使、检校少保、开国公。仅仅数年，岳飞就从毫无背景的初级军官成长为国家栋梁，三十出头就进封节度使，并成为主力军司令，无疑是军界最耀眼的一颗巨星，这也是与他勤于报国的精神分不开的。