宋文帝元嘉十九年，建康城里成立了一所皇家学校——国子学，专门招收官家子弟，祖冲之也进了这所学校。正好何承天在这里任博士，负责教授学生，这使祖冲之有很多机会接触何承天。祖冲之虚心好学，对何承天非常尊敬，经常向何承天请教天文方面的知识，何承天看到祖冲之既好学又尊重自己，一点也不像一般的名家少年那样，也就很乐意向他传授。祖冲之从何承天那里获得了很多天文知识，越来越对天文学发生了浓厚的兴趣。

天文学和数学有着密切的联系。祖昌看到自己的孙子对天文学有兴趣，也就有意地向祖冲之传授数学方面的知识，一有空就给祖冲之讲解《周髀(bì)算经》、《九章算术》等古代有名的数学著作。祖冲之很快就掌握了“勾股定理”、“开平方”、“开立方”的方法，而且还能够求解一般一元二次方程。

祖冲之聪明好学，进步很快，当爷爷的当然高兴。但祖昌并没有放弃对祖冲之的诱导。

祖昌常对祖冲之说:“要想创新，先要博学。凡是有所发明创造的科学家，都是勤奋好学的，像发明了地动仪的张衡，给《九章算术》作注的刘徽等，无一不是先博览群书，尔后才有所创新的。”

祖冲之牢牢记住了爷爷的话:“要想创新，先要博学。”他埋身于古人的著作和天文观测之中，整天读呀，算呀，观星望日呀，简直到了着迷的地步。

有一回，他在从国子学回家的路上，边走边思考:月食为什么都发生在十五左右的晚上?路边的人看着他那股点头、摇头、双手乱比划的“傻”劲，都偷偷地笑他，有些小孩还跟在后面看稀奇......

史书上对祖冲之勤奋好学的精神做了记载，说他“少稽古，有机思。”意思是说，祖冲之很小的时候就学习、考查古人的著作，善于思考问题。祖冲之后来回忆时也说他曾“搜炼古今”，即阅读大量的古今著作，从中吸取精华。

功夫不负有心人。由于祖冲之的勤奋好学，很快就有了“博学多才”的名声。二十岁刚出头，他在当时的建康城里，已经很出名了。