从此山上又不出战了，双方又相峙了半个多月后，王世充的后方来了一支人马，大盗旗上的一个斗大的“伍”字，为首的主将正是要来投奔瓦岗山的磨盘山的山大王伍天锡，手中混金镗，座驾青龙马，怎一个威风了得！

王仁则和其报通名姓，杀在一处。六十个多回合后，伍天锡一镗正抽到王仁则的马屁股上，把他的战马抽了个骨断筋折，王仁刚滚落马下，伍天锡正欲结果他的性命，一支冷箭射来，伍天锡赶紧闪躲，这时对方冲过几员兵将把王仁则救回，伍天锡大怒带着人马冲杀过来，王世充和王世仁双战伍天锡，双方兵将也在山下混战起来。

难解难分时，山上的翟让、李密、王伯当、侯君集、单雄信等大将带着人马冲杀下来，王世充的人马被杀得大败。这一战，王世充的五万人马折损大半，只剩下不到两万人，王世充一看这仗没法打了，只好带着残兵败将回师洛阳向杨广请罪。王世充回到洛阳，距离他出兵，才有三个多月。

杨广震惊，但也没降罪他。天宝大将宇文成都一听伍天锡又跑到瓦岗山折腾去了，哈哈大笑，请令出战，并夸口要将贼人的脑袋提来，被宇文化及制止住，杨广心里十分不悦。

宇文化及解释道：“陛下息怒，微臣有下情回禀，微臣认为现在不宜主动平贼，而是守住东都要紧。否则，贼人杨勇离这里不过三百里，倘兴兵东都，陛下当以何拒之？”

杨广听了转忧为喜，连连点头。这时，喜报传来，杨义臣和来护儿杀了张金称，大败高士达，将数万反贼赶尽了大山之中。而且，这三个月，杨义臣连招兵带收降贼兵，部下兵马超过五万。

杨广闻报喜出望外，宇文化及眼珠一转施礼道：“杨义臣多谋略，够个帅才，来护儿骁勇异常，此二人组合必能扫灭瓦岗军。”

杨广准奏，派人传旨。数日后，杨义臣没回兵而派人送来一封奏折，说是眼下贼兵并未彻底荡平，斩草务要除根，现在不宜回兵，否则贼人必卷土重来。

杨广深以为然，不料，宇文化及奏道：“陛下，杨义臣抗旨不遵，来护儿一向倨功自傲，二人拥兵自重，时间长了恐怕有不臣之心呀。”

杨广听了坐不住了，一日之内连下三道圣旨，杨义臣和来护儿不得不回兵。杨义臣后来知道真相后，寒心之余装病辞官回了原籍，几年后抑郁而终。

杨义臣撤兵后不久，果然高士达卷土重来，和窦建德占据高鸡泊，数次击败隋军，势力越来越大，很快占据了半个河北。

杨广后悔没听杨义臣的话，但为时已晚，杨广觉得四面楚歌，东都受到严重威胁，便有弃东都迁江都之意。问计文武百官，宇文化及看穿了杨广的心思，心里早有打算的他又溜须拍马一番，说陛下王气本来就在东南，迁都江都乃顺天意之举，必然社稷大幸。

杨广大喜，留下杨侗母子坐镇落阳，让段达和元文都等将官辅佐他们，并让王世充带十万人马守住洛阳。

杨广安排好这一切后，带着文武百官在来护儿和宇文家族的保护下，起大兵十五万迁往江都。