由于边境逐渐巩固，庆历三年，赵元昊求和;庆历四年，宋仁宗封赵元昊为西夏国主。从此，西部边境暂时缓和下来。

皇佑元年(公元1049年)，南方少数民族又有一个叫侬智高的“反叛朝廷”。宋仁宗赵祯多次派兵征讨，都没有得胜。皇佑五年，仁宗皇帝又派大将狄青征剿。在这次征剿中，杨文广也跟狄青去了。

狄青本来是一个土兵出身，由于作战勇敢，最后当上了大将军。他有勇有谋，又有实战经验。再加上杨文广的辅助，真是如虎添翼。

当时依智高的大本营在邕州(今广西南宁市)，昆嵛关是邕州北部的天险。广西钤辖(一路或一州的武官，主管本区训练军队、捕盗等事)陈曙，听说皇帝派大将狄青来征剿侬智高，恐怕功劳被别人夺去,所以在狄青大军尚未到来之时,他便发动了进攻。但是，他在昆箭关一战,被依智高打得大败亏输，他手下的将领袁用等三十人临阵脱逃。

狄青到来之后，跟杨文广一商量，在昆嵛关外召开了军事会议。在会上，训斥了陈曙的军纪不严，并把袁用等三十个临阵脱逃的将领就地正法，斩首示众。同时扬言要整军十日，然后向叛贼发动进攻。

依智高的奸细探知这个消息后，回去向侬智高报告。第二天，依智高召集众文武开会，商议如何抵抗朝廷大军。但是，会议正在开着，忽然有消息传来，说狄青大军已过昆嵛关，前锋向邕州杀来。原来，前一天是故意宣布“整军十日”的，目的在于麻痹敌人。依智高慌了手脚，急忙派兵迎敌，但为时已晚，狄青等很快便打下邕州，依智高战死了，叛乱宣告平息。

由于杨文广在这次战斗中，作战勇敢，并能帮助主帅出谋划策，使数年叛乱很快平息，所以在战后被任命为广西钤辖，权知宜(今广西宜山东南)、邕二州(宋朝派朝臣为州一级地方行政长官，带“权知军州事”衔，兼掌军事)。

以后，杨文广又换了几个地方做官，直到宋英宗赵曙即位之后，才调到他父亲杨延昭战斗过的地方，当上了定州路的副都总管(地方军亨副长官)。