宋朝末年，祖冲之从娄县又调到了京城，担任谒者仆射的官职。

这时候的宋朝，已经是危机四伏，统治阶级内部争权夺利的斗争更加激烈。掌握了禁卫军的齐王肖道成，在官廷内讧(hongm，乱)中夺得了实际的统治权。肖道成这个人野心很大，他很想自己做皇帝，只是一时还没瞅准机会。他每次出门总是用马拉着一辆指南车在前面开路,以显示自己的威风。因为在过去，只有皇帝出门的时候，才把指南车放在仪仗队的前面开路。

这辆指南车就是几十年前宋武帝灭掉后秦国后，从后秦国王姚兴手中夺得的，据说是一个名叫令狐生的人制造的,车内安装着很多机械,车上立着一个小木人，每当车子转动时，机械也跟着转动，小木人的手指着南方。宋武帝夺得这辆指南车时很高兴，出门时，也让指南车在前面开路，摆一摆排场，抖一抖威风。不过，这辆指南车造得不太好，里面机器零件也不精密，虽然说是“指南”，实际上总有点偏差，特别是转大弯的时候，偏差就更大，只有让一个人躲在指南车里面不住地拨动，才能“指南”，很是费事。宋武帝用了几回，就感到厌烦了，把它扔在了一边。肖道成捡起这个指南车来用，当然也不能起到“指南”的作用，只不过是聋子的耳朵，摆设。他曾几次找人修，都没有修好。

有一天，肖道成找到祖冲之，要求祖冲之重新给他造一辆好的指 南车。

祖冲之答应考虑考虑再说，因为祖冲之虽然听说在很早很早以前的黄帝时期就发明了指南车，据说，那时黄帝族和另一个部落联盟发生了战争，那个部落的领袖蚩(chi痴)尤会使妖法，能作大雾，使黄帝族辨不清方向，因而吃了败仗。后来黄帝族发明了指南车，用来辨方向，才战胜了蚩尤。但这只是传说，不十分可信。

东汉时的张衡，三国时的马钧，后赵时的魏猛和解飞，都造过指南车，这是有历史记载的，可惜造法都已失传，虽说有令狐生这辆“机数不精”的指南车可供参考，但肯定也不是件容易的事。

祖冲之回到家中后，就精心地进行研究和设计。他认为，要想使指南车上的小木人一直指向南方，就要在车内装一组精密的齿轮，当车子向右转弯时，有的齿轮就向左转动，当车子向左转弯时，有的齿轮就向右转动，只要车子转弯的角度和齿轮转动的度数相当，就能使站在车中齿轮上的木人永远手指南方。令狐生的指南车之所以不能很好地指南，就是齿轮制造不精密。

祖冲之弄清了指南车的原理，觉得制造指南车有把握，于是就答应了肖道成的要求。