魏孝文帝迁都洛阳之后，在进行政治改革和移风易俗的同时，开始了南伐的军事准备工作。

要打仗，就要有物质基础。具体说来，就是要求有兵力、粮秣(mo，指军粮给养与马料)。为了准备粮秣，他把原来在代都推行的均田制，继续在中州大地推行。中州大地原本是千里沃野，经过推行均田制，更是人畜兴旺，五谷丰登。粮秣供应不成问题。为了准备战马，还在河阳开辟了一个牧马场。把原来在北方河西（今山西吕梁以西）牧场和并州牧场的马匹，都调到这里放牧，为的是让这些北方马匹适应南方的生活环境，打起仗来免出意外。为了准备兵员，也改革了原来的军事制度。原来军队多部署在各地，设镇将率领，而中央的军队不多。国家如果有事，临时抽调各地镇将率兵迎敌，这是非常不便利的。

魏孝文帝为了南伐，便扩大了中央直接指挥的军队的编制。当时，皇帝的卫队称为虎贲(ben)军，保卫皇宫的部队称为羽林军，保卫国都的部队称为宿卫军。仅虎贲、羽林二军，便扩编至十五万人，并且把原来的老弱换掉，换成清一色的能打能跳的青年。同时,还加强了宿卫军。另外，还从国都所在地的州县中每十二人选一人协助宿卫军防守国都，每四年更换一次。

魏孝文帝经过数年的养精蓄锐、积草屯粮之后，便于太和二十一年八月间兴兵南伐。

当时的北魏首都洛阳，离南朝齐国的北部边界并不太远。宛城,即现在的河南南阳，离洛阳只有五百余里，当时便属南齐所有。魏孝文帝南伐的第一个进攻目标便是宛城。

南齐的宛城守将是南阳太守房伯玉。此人是南齐名将之一，号冠军将军。魏孝文帝一来想得到房伯玉这员战将，二来也想尽量减少牺牲，所以决定先礼后兵，就是先劝降，不成之后再进兵。于是，他便派中个能说会道的公孙延景，作为使者，前去宛城劝降。

房伯玉听到这个消息后，便决定给对方一个下马威。他叫来四百名卫士，从辕门外到大军帐分列两旁，个个马上弦、刀出鞘，杀气腾腾。然后宣下书人进帐。