当北宋土崩瓦解，南宋在废墟中仓皇求生时，宋高宗赵构念兹在兹的是完成两件事情：（1）军队收归朝廷，也就是将主要军事力量置于皇权的掌控之下；（2）财政收归朝廷，也就是重建汲取体系，重建维系朝廷运转的经济命脉。其中，又以前者最为根本——因为南宋初年的大部分税赋收入，是掌控在地方军事力量手中的。

从赵构时代的第一任宰相李纲开始，完成这两件事，一直是最大的政治任务。李纲的政策是恢复唐代的藩镇体制。他建议在宋、金前线的太原、真定、中山等地设立一群允许世袭的军事藩镇，给予藩镇将帅们自主收取租赋的特权，让他们彼此协助，共同抵御金军。提出这一建议的背景，是当时的赵构手中，并无任何像样的军队，也没有财政收入可以支持他组建军队。

李纲只能寄希望于将民间抗金武装与流落为盗匪的残余部队收编起来，来组建南宋的国家军事力量。选择恢复藩镇体制，也是一种无奈——朝廷无钱支持军饷，只好任由军阀成立藩镇自由收取赋税。但李纲的这一主张，与赵构发生了巨大冲突。

赵构始终坚持恢复北宋的“禁军”体制，要求主要军事力量必须直接控制在皇帝手中，绝不容许藩镇出现。李纲的政策流产，李纲本人也被迫离开了朝廷。在此期间，尚是无名之辈的岳飞，第一次上书赵构，对朝政提出批评。

在那份洋洋洒洒数千字的《上皇帝书》中，岳飞极力想要说服赵构以武力恢复故土，但却没能搞明白谁是自己的主张的支持者、谁是反对者，指着南宋政权中枢内最大的主战派李纲好一顿痛骂。奏章的主旨七零八落，缺乏重心。南宋史学家李心传读了这份《上皇帝书》后，留下的评语是“不知所论何事”。

接替李纲的，是黄潜善与汪伯彦。他们在后世的史书中遭人唾骂为“奸臣”。黄、汪二人采取的措施，与李纲完全不同。与赵构相似，他们对藩镇体制有着深深的恐惧，极力主张建立直属于皇帝的中央军。

他们决定解散抗金的民间军队，也放弃了招降盗贼（多数盗贼的前身是原北宋军队）的政策，改从这些民间军队和盗贼军团当中挑选优秀士兵，来组建由皇帝直接指挥的“御营军”。组建御营军之前，南宋的主要军事力量只有两支。一支是常年在西北抗金的陕西军，后来演变成南宋的四川军团；另一支是老将宗泽统率的开封军团。御营军若组建成功，将是赵构能够直接掌控的第一支军队。

但御营军的组建不能算是成功（或只能说有小部分成功）。其编制经过频繁变动，到建炎三年，从御营军中共分裂出来三股力量：刘光世的御营副使军、韩世忠的御前左军、张俊的御前右军。这三股力量脱出后，御营军已是名存实亡。刘光世、韩世忠和张俊统领的这三支军队，后来均发展成了南宋的主力军团，三人加上岳飞，并称南宋的“中兴四将”。

值得注意的是，张、韩、刘、岳四支军团，唯有岳家军没有赵构御营军的历史背景——岳飞军团的前身，是宗泽开封军团瓦解后的残余小部队。这种独树一帜的出身，多少也影响到了岳飞日后的命运。也是在建炎三年，赵构遭受到了来自跋扈军阀的沉痛一击。

该年正月，金军大举南侵——金国此时的对外政策，是消灭南宋、抓住赵构。宋军无力抵抗，赵构只得仓皇逃亡，“百官皆不至，诸卫禁军无一人从行者”，大臣们皆不在身边，禁军也没有随驾护卫——禁军的失职背后，是部队早已人心浮动。三月份，杭州的护驾部队果然发生了叛乱，他们逼迫赵构退位给三岁的皇太子，又请出了北宋哲宗皇帝的妻子隆祐皇太后垂帘听政，且决定将赵构交给金人。

此次叛乱，史称“苗刘之变”——叛军首领苗傅、刘正彦，原是赵构御营军中的统领。赵构很快得以复位。新宰相范宗尹提出了新的整军方案，建议皇帝再次考虑实行藩镇制度——既然满地是割据一方的匪盗，朝廷又无力征讨，倒不如顺水推舟，给予他们藩镇的资格，让他们去抵御金军。与李纲的主张所不同者，范宗尹的藩镇建议只是权宜之计，他的长远目标仍是组建一支直属皇帝的庞大中央军。

与范宗尹招安匪盗的政策出台大略同期，岳飞的部队正面临着沦为匪盗的危险——淮河流域最大的抗金军团首领杜充突然投降，隶属于杜充的岳飞无家可归，只能向南流浪，更多的同僚则就地转化为盗贼，邀请岳飞上山入伙者络绎不绝。这段流浪经历，对“岳家军”的成型至关重要。在此之前，岳飞一直是体制内的士兵或者将官；杜充的投降将岳飞和他的部队从体制中踢了出去。

当部队结束流浪、再次回到体制内，岳飞和他所率领的部队，已在流浪中建立起了深厚的私人纽带。建炎四年（1130年），岳飞参与了收复建康府的战役。趁金军主力在建康府江面与韩世忠水师激战之际，岳家军在清水亭、牛头山等地接连战胜金军余部。收复建康府，使岳飞受到朝野瞩目，不再是一名默默无闻的“游军”将领，并有幸得到了赵构的接见。

部队回归体制，岳飞成了镇守一方的将帅（通、泰镇抚使），角色与地位的变化，多少影响到了“岳家军”的运作机制。在流浪时期，岳飞与军中将领们建立起了同袍手足般密切的关系，比如在收复建康府一战中立下不小军功的猛将傅庆，就经常不当岳飞是上级，缺钱时总是大剌剌地直接找到岳飞：“岳丈，傅庆没钱使，可觅金若干，钱若干”，岳飞也“全然不以为意”。但这种亲密关系，在岳飞成为镇抚使后发生了变化，据《三朝北盟会编》记载：“及飞为镇抚使，恃法严肃，尤不可犯，而（傅）庆不改其常。

飞待之异，庆颇觉之，不喜。”岳飞的变化，并不是一�。