除了将牛皋、董先拨归岳家军统属外，赵构考虑到岳飞任江南西路、舒、蕲州制置使，全面负责淮南西路舒州和蕲州的防务，兵力严重不足，便再命江南西路兵马钤赵秉渊将驻守在洪州（今江西南昌市）的一万多兵马并入岳家军。
可惜在两年前的一次宴会上，“飞因饮酒大醉，殴击秉渊几死”，赵秉渊心存芥蒂，死活不肯交割军队，而托人转告刘光世，由刘光世出面向赵构提出申请，将自己的兵本马改隶在他的部下。
这已经是岳飞第二次酒后伤人了，性质恶劣，后果严重。
岳飞也因此想起母亲曾经的告诫，懊悔万分。
是你自己酒性不好，我帮不了你啦——赵构专门下了一道诏书，“戒飞饮酒”。
岳飞无语，从此彻底与酒绝缘。
岳家军由神武副军升格为神武后军，军中的许多将佐就跟着水涨船高，获得了不同程度的升迁。其中王贵任中军统制、提举一行事务；张宪任前军统制、同提举一行事务。两人俨然成了岳飞的左膀右臂，必要时，他们还代替岳飞全权行使军务，指挥其他统制作战。
张宪、王贵、徐庆、牛皋和董先均是独当一面的人物，堪称岳家军中五虎将。
此外，还有杨再兴、李山、傅选、王万、岳亨、姚政、李宝（南宋中期名将）、毕进（南宋中期名将毕再遇之父）、孟林（南宋中后期名将孟珙之祖）等一大批能征惯战之士。
有宋一代，重文轻武，岳飞在军务之暇，经常以儒装示人，他并不是在刻意附庸风雅，而是以此来延揽文士，史称其：“敬贤礼士，食客所至常满，一时名人杰士多归之。”
因为岳飞的志向、追求，品质、和富于吸引力的人格魅力，武将之外，他的身边也集结起了一大群有学识、有才干、有气节的文士。
严州桐庐县人朱梦说，是个饱学之士。早在政和五年，他就警觉到了北宋的种种亡国之兆，不断给执政的赵佶上书言事，痛陈时弊，惹得蔡京、童贯等一伙奸人恚恨不已，将他抓了起来，发往池州。赵桓在火线中即位，听说了朱梦说的忠义之名，特意召他了回来。靖康元年（公元1126年），东京失陷，朱梦说宁死不屈，积极组织民众救亡抗金，直至斗争失败，流落到了南方，累迁泰州（今江苏泰州市）军事推官。。
岳飞敬仰他的为人，多次邀请，安排他在军中当制置司干办公事。两人志同道合，相益得彰。
温州永嘉县人薛弼，进士出身，遇事多谋善断。靖康初年，金人入侵，李纲进言要坚守东京，当时有很多人持反对意见，但薛弼却坚决拥护和支持李纲的主张。他在刑部侍郎兼河防宋伯友手下任点检粮草官，负责筹备粮食、军需等后勤事务，“为计画甚切”，是个极其优秀的参谋型人材。
岳飞将他招揽到岳家军担任荆湖南路的转运判官，全面负责军中钱粮供应。
苏州人黄纵，精于军事，负有天机神算，因为他的父亲黄策被赵佶定性为“元符奸党”，黄纵终生不得参加科举。赵构南迁后，黄纵借向朝廷上缴官史之机，献上十册自己对兵法的研究心得，轰动一时。
岳飞通过奇士赵九龄的穿针引线，费尽周折，终于把黄纵纳入自己军中，堪称当时军界里的一段佳话。荆湖南路制置大使席益曾向岳飞致贺，大赞黄纵，说他在后省审阅二千两千多份关于兵书的讨论文章，没有一份比得上黄纵的精辟独到。
可以说，黄纵是岳飞的良师诤友，岳飞每临机制敌，“军事必与谋之”。黄纵感激岳飞的知遇之恩，知无不言，也正因如此，岳飞经常叮嘱黄纵：“如果岳飞有过失，你务必给我直接指出。”（“某苟有过，机密（指黄纵）必以见告”，）二人的关系，远远超出了帅幕之间。
此外，还有李若虚、高颖、王良存、夏珙、李启、党尚友、张节夫、于鹏、孙革、侯邦、智浃、王大节等。
侯邦原在荆南府制置使王燮手下统制官郝晸家中当门客，是黄纵早年一起交游的朋友，很有才干，经黄纵举荐，岳飞专门派人前去接侯邦。郝晸觉得岳飞在向自己撬墙脚，杀心顿起，命人将侯邦抓起来，准备将他杀掉。
岳飞大怒，拍案而起，说：“郝晸算什么东西？敢妄杀读书人！”（ “郝晸何人，敢杀士人!”）警告郝晸立即将侯邦恭恭敬敬地送来，如少了一根毫毛，吃不了兜着走。郝晸没想到岳飞对一介文士如此重视，只好乖乖将侯邦送来。
夏珙和李启是经济型人才，夏珙先是担任荆湖北路的转远判官，筹画岳家军的钱粮供给，后由岳飞保奏升迁为转远副使，负责从外面调动军需供应岳家军的开支用度。李启善于理财，担任军中回易官，经营公使、激赏、备边、回易、关引、典库、房钱、营田等处，平日布衣草鞋，遇事躬亲操劳。
王大节原是四川名嘴，有辩才，喜怒不形于色，是个极其优秀的间谍。多次混入敌军阵营中搞情报，岳家军打仗时能知己知彼，其居功至伟。
李若虚是河北西路洺州曲周县（今河北曲周县）人，他有一个英雄的弟弟——靖康之难中以死难闻名的李若水。
胡闳休是开封人，上马能提枪，下马能提笔，著有兵书二卷，能文能武，是个不可多得的全能型人才。
总之，这些人中，既有望门硕士，也有庶门隐士，既有科举出身的官员，也有寒微布衣之士。岳飞不拘一格，唯才是用，和他们“商论古今，互相究诘，切直无所违忤。”岳飞器重幕僚，幕僚也以德报德，尽心尽力，为知己者用，乃至以效死力。这样，岳家军中，主宾情投意合，将帅上下相得。无怪史称岳飞“欲有所举，尽召诸位统制与谋，谋定而后战，故有胜而无败，猝遇敌不动，故敌为之语曰：‘憾山易，撼岳家军难’。”
这时候的岳家军，阵容强大，配置合理。将帅上下一心，为抗击金人，收复河山，蓄势待发。
幕僚之外，岳飞也经常同一些志同道合的文士唱酬啸咏，这其中最值一提的是江山（今浙江江山市）人祝允哲，岳飞在与他的诗歌唱酬中，完成了一阕气壮河山、光照日月的传世名作《满江红》，成为了词坛上的一段传奇。
祝允哲，字明卿，其先祖祝其岱为唐初名儒，精通子史经集，擅长诗文，时称其：“诗无邪思，文有卓识，气浩词严，一扫当世芜秽之习”，因不满朝政，坚辞武则天所授银青光禄大夫之职，回家乡江郎山设馆讲学——这就是江郎书院的始建，很快成为了两浙诸生的儒学首领。江郎书院发展到宋朝，规模已相当庞大了，负笈前来求学者“如云如雨”，书院不得一扩再扩，大学士苏辙作有《重修江郎书院赋》记其事。
祝允哲的父亲祝臣为嘉祐六年进士，在哲宗朝担任户部侍郎、兵部尚书，后率军防御西夏有功，赠少师上柱国，封宣国公。祝允哲本人则为元符三年（公元1100年）进士，任武翊卫大制参，督理江广粮饷，提督荆襄军务。这一年，（绍兴三年，公元1133年）由韩世忠军转入岳家军中，任荆湖制参。
祝允哲虽是一介文士，但性情豪迈，尚侠任气，慨然有大丈夫气色。更难得的是，他和岳飞一样，一生都在为收复失地，拯救沦陷区人民奔走呼吁，表现出强烈的爱国情怀，。
岳飞将他引为知已、同道，经常一起切磋诗词，互相唱和。
某天在祝允哲府上作客，两人高楼望远，阑干拍遍，纵目乾坤，俯仰六合，岳飞有感于强敌盘踞，河山破碎，自己身为一方统帅，肩负重任，论及国仇家恨，忍不住热泪满襟，血气沸腾，情难自制，填词调寄《满江红》一阕，击节而歌，歌云：
怒发冲冠，想当日、身亲行列。
实能是、南征北战，军声激烈。
百里山河归掌握，一统士卒捣巢穴。
莫等闲、白了少年头，励臣节。
靖康耻，犹未雪；
臣子恨，何时灭？
驾长车，踏破金城门阙。
本欲饥餐胡虏肉，常怀渴饮匈奴血。
偕君行、依旧奠家邦，解郁结。
歌声慷慨激昂，远播四野，词意凌云壮志，气盖山河。“怒发冲冠”四字从《战国策》中“士皆瞋目，发尽上指冠”中化用，惊世骇俗，振聋发聩，一腔亡国之仇灭国之恨喷薄而出。“身亲行列”、“南征北战，军声激烈”等句描述了南征北战，转战千里的经历，用字直白简洁，浓浓的行伍气息中不乏激烈和雄壮，收复河山，捣碎敌人巢穴的决心吐露无遣。
词下阕的“莫等闲，白了少年头”与汉乐府相和歌古辞《长歌行》中的“少壮不努力，老大徒伤悲”一脉相承，句式活泼，表现自己“少负气节”、“尽忠报国”的胸怀和抱负。此句一出，遂成千百年来无数仁人志士的座右铭，堪称青春励志中的名言警句。
“本欲饥餐胡虏肉，常怀渴饮匈奴血”则“出奇语，寄壮怀”，取《汉书王莽传》中“饥食虏肉，渴饮其血”典故，锤炼出雷贯火燃之句，明誓要血债血偿，直抒胸臆，似非此不能畅其情、非此不能尽其势，忠愤气慨，令天地动容，草木变色，只有“依旧奠家邦”，方能“解郁结”。
祝允哲拍案叫绝之余，当场唱和了一首，云：
仗尔雄威，鼓劲气、震惊胡羯。
披金甲、鹰扬虎奋，耿忠炳节。
五国城中迎二帝，雁门关外捉金兀。
恨我生、手无缚鸡力，徒劳说。
伤往事，心难歇；
念异日，情应竭。
握神矛，闯入贺兰山窟。
万世功名归河汉，半生心志付云月。
望将军、扫荡登金銮，朝天阙。
在词中，祝允哲自叹一介书生，手无缚鸡之力，不能上阵杀敌，只有寄希望于岳飞奋雄威、鼓劲气，以大无畏的英雄气概，“闯入贺兰山窟”，捉兀术、迎二帝，建不世功业。
贺兰山脉位于宁夏回族自治区与内蒙古自治区交界处，而女真人的发源地却在东北的白山黑水，二者相差十万八千里，祝允哲之所以要把金人的老巢说成是“贺兰山窟”，主要是承岳飞的“胡虏肉”、“匈奴血”的比喻，呼应岳飞的“一统士卒捣巢穴”之句。他万没想到，这么一个不经意的隐喻，千百年后，竟然成了严重影响岳飞《满江红.怒发冲冠》著作权的罪证。
《满江红.怒发冲冠》是岳飞移镇鄂州后的某个雨天，回想起了这一天两人的酬唱，心潮澎湃、汹涌激荡，提笔对原作进行了修改，改为：
怒发冲冠，凭阑处、潇潇雨歇。
抬望眼，仰天长啸，壮怀激烈。
三十功名尘与土，八千里路云和月。
莫等闲、白了少年头，空悲切。
靖康耻，犹未雪；
臣子恨，何时灭？
驾长车、踏破贺兰山缺。
壮志饥餐胡虏肉，笑谈渴饮匈奴血。
待从头、收拾旧山河，朝天阙。
经过短短一段时间的沉淀、凝炼，厚积薄发，铸造成流传千古的不朽名作《满江红.怒发冲冠》，唱出了最高昂、最激烈的时代强音！
其时暴雨初歇，风烟俱净，远望可以骋目，长啸足以抒怀。
将军心伤家国分裂，南北隔绝，胡尘未静，生灵涂炭，不由得冲冠一怒，仰天长啸，功名于我如尘土，唯愿披星戴月，万里驰骋，洗雪民族奇耻，收拾一统河山。
