杨炎微微一笑，道：“这段时间以来，陛下对外臣等照顾己十分周到，也赏赐了不少财物，岂敢再求什么？何况外臣在广南尚有公务需要处理，不敢再大理多做停留，望陛下见谅。”
段智兴听了，知道是留不住杨炎了，便道：“那好吧，五天之后朕当在金殿上亲设酒宴，为杨驸马和大宋将士饯行。”
杨炎告退之后,段智兴立刻传旨升殿,招集文武大臣，一起商议宋军要去进攻交趾，大理该如何行动。
甘华和刘建赫虽然对段智兴的行为十分失望，但现在毕竟是商议国家大事，而且这是段智兴主动升殿招集大臣议事，说明他还没有糊途到底，因此两人立即当殿提出，大理也应该出军配合宋军，进攻交趾，将高氏一族斩草除极，消灭干净。
段智兴又问其他人的意见，黄琪善、钱之乔、邹平渚这三个刚上任的大臣竟也同竟大理出兵，配合宋军去进攻交趾，除去高建铭，永绝后患。段智兴听了十分高兴，认为他们几个现在确实是感激自已的恩德，衷心扶保自己。
其实黄琪善、钱之乔、邹平渚这三个人心里都清楚，他们现在的行为等于是以经被叛了高氏，如果高建铭再杀回来，直怕先就会要了自己的命，他们可不指望高建铭也会向段智兴一样，再次饶了自己，因此除去高建铭，也是为他们自己消除一个后患。
既然文武大臣们都同意出兵，段智兴当殿下令，任命刘仁先为这一次出兵的大理主帅，率领两万大理人马，随宋军一道去进攻大理。当然一切事宜全听杨炎安排调度。同时又命令甘华筹措粮草物资，保障出军的补给。对于这个任命，刘仁先虽然感到有些意外，但还是领旨谢恩，回去准备去了。
原来在宫里段智兴就和宁公公商议好了，兵是一定要出，而且出兵的主将就是刘仁先。一来因为段智兴还是十分信任刘家父子，而且目前大理也只有刘家父子俩有领军的能力，二来段智兴也知道自己任用黄琪善、钱之乔、邹平渚这三个人，一定引起那些跟随自己逃亡的大臣不满，正好借这个机会，安抚一下这些大臣，三来刘仁先和杨炎关系不错，如果用别人怕引起杨炎不满。如果杨炎生气了，那么后果就很严重。
而且宁公公也深知,虽然自已又得到了段智兴的信任,但目前也不能得罪这些跟随段智兴逃亡的大臣，相反还应该尽量示好，这样才能左右逢源，因此对段智兴的决定，也一力赞同。因此这样五天以后,宋军和大理军一起出发了。
大军一路向西南而行，五天之后到达黑水河边的宋军大寨，刘复武、张师颜和殷世彪三人出营来迎接杨炎。
进营之后，刘复武才向杨炎汇报，黑水河一战中，宋军大获全胜，仅俘虏的交趾和高氐联军士兵就不下五千人，现在都在寨中看押，还抓获了九十一头大象，也在营里和原来的大象一起喂养，另外还有死象一百二十二头。不过现在死象都以经处理完毕，象皮、象骨、象牙等物都以经分类保存起来。
张师颜率本部的人马和象军到达黑水河大营之后，把所有大象集中起来，组成一军。现在加上原来属于大理的四十六头大象，宋军一共有大象一百八十六头，早在来大理之前，宋军就以经训练了二百名骑象的士兵，不过现在人数是远远不够了，张师颜又拔出了三百名士兵，进行骑象的训练，经过了这一个多月的训练，这些士兵们以经基本掌握的控制大象的方法，现在宋军的象军以经初俱规模了。
杨炎对别的东西到不在乎，不过见又抓获了这么多头大象，象军也初步成型十分高兴。当即把象军暂时并入马军司中军，交由张师颜管理，然后杨炎又把所有的俘虏全部都移交给了大理军处置。刘仁先接收了这批俘虏之后，派了一名副将带三千人马把俘虏们押送回大理城去。
处理完这些事情之后，大军在黑水河边休息了两天，立刻拨营起寨，渡过了黑水河，沿河南下，向交趾进发。
而早在杨炎接到临安的上谕之后，就命人返回大宋广南，下令驻扎在交趾边境的曹勋，让他立刻进攻谅山。曹勋接到杨炎的命令之后，立刻集中了步军司中军、后军和广西军左军、右军、胜捷军等五军，共计二万五千人马，向谅山发动了进攻。好在守卫谅山的大将阮守捷十分谨慎，居险而守，这才力保谅山不失，不过也仅仅只能守住，无力反击。
这时交趾国内也是一片震惊，派出援助高建铭的人马几乎全军覆没，战象也没剩几头，这是交趾数十年来从未有过的败仗。现在宋军在谅山和黑水河两处驻兵，大有要攻入交趾国内的势头，李天祚又惊又气又怕，立即招集文武大臣商议下一步该怎么办。
有大臣建议，现在交趾跟本无力对抗宋军，应当立刻和大宋称臣讲和，并将高建铭抓起来，送给大宋，使大宋没有借口再进攻交趾。
但李全成和大将黎玄德则及力反对。李全成认为，现在宋军并没攻入交趾国内，这就急着向大宋称臣也未免太软弱了，而且高建铭是来投奔交趾，如果把他送起宋军，则会丧失信义，以后谁还敢来投靠交趾。
而黎玄德侧进言：谅山地势险要，易守难攻，宋军未必那么好打进来，现在只需要守往黑水河一线就行了。而且这时以经进入五月，酷暑即将来临，宋军都是远路而来，必然水土不服。到时候敖不住酷暑，一定会自动撤军，因此这个时候一定要坚持住。
他们两人奉命援助高建铭，不断没有成功，反而被宋军杀得大败，几乎全军覆没，如果与大宋讲和，则和谈成功以后，两人必会为这次大败承担责任，黎玄德自然是被罢官，而李全成只怕也保不住太子之位，唯有与宋军再打一仗，才有可能保住自已的位置，那怕是守到宋军撤军也行。因此两人才极力反对与大宋讲和，力主继续抵抗宋军。
但他们所说的话也不无道理，六七月间交趾的气候又湿又热，连久居本地的交趾人都受不了，何况是远路而来的宋军呢？李天祚考虑再三，终于决定继续与宋军对抗下去。好在李全成出兵时李天祚曾下令在国内再征兵三万，现在新兵以经全部征集到位了，于是李天祚当下命令李全成和黎玄德领三万人马，三百头战象去抵挡宋军。
然后李天祚又封高建铭为南平候，将交趾的南平州划给高建铭存身，南平州位于交趾与大理交界的地方，把高建铭安置在这里，也是让高建铭帮着交趾抵挡宋军。同时李天祚又暗命李全成，看住高建铭，在必要的时候，还可以拿高建铭来作为讲和的筹码。
高建铭自然知道自己现在以经无权无势，虽然被封为南平侯，但实际如同阶下囚一样，说不定什么时候就会被交趾当作弃子牺牲掉。不过他也没有消及待毙，而是积极想办法自救，派人潜回大理，招集旧部，结果还真的又聚陇了六七千人马，积累了不少财产，到是令交趾上下刮目相看，李天祚到是觉得留着这个人确实还有用处。
然而就在这个时候,宋军的大军以经渡过了黑水河,杀入了交趾境内。不过交趾也早就作好了准备，在平南州一带，修好了许多防御的工事，深沟高垒，并且怕宋军向上一次偷袭大理城那样，派军偷袭交趾国都升龙，又将通向升龙的各条要道都派遣了人马把守，并且升龙也提高了戒备，以防止宋军的突然袭击。
杨炎的大军到了平南州之后，见交趾以经作好了准备，便在明江之滨扎住人马，与平南州的交趾军互相对持。
随后宋军立刻到交趾军的营前挑战，这一次李全成可不敢再猖狂了，老老实实躲在深沟高垒的大寨里，任由宋军如何挑战辱骂，也不出战。一心一意等着宋军敖不过酷暑退军。不过宋军见交趾军的防守十分严密，也不轻易发动进攻，只是用象背弩这样的远程武器来打击交趾军，但交趾军也早有防备，因此又交趾军的危胁并不大。
一连十余天，宋军每天都来交趾军营前挑战，见交趾军不出战，就用弩箭乱射一通，但绝不派士兵发动进攻。李全成、黎玄德到是很满意，但高建铭却有些疑惑了，难到宋军就打算这样打下去不成吗？