冲之少年时代就研习古事，思想机敏。刘宋孝武帝把他安排在华林园省察工作，赐给他住宅、车马和衣物。又派他到南徐州任从事史，从而入仕，后来被调回中央任公府参军。
刘宋元嘉时，所使用的历法为何承天所制《元嘉历》，比古代十一家历法更精密。可祖冲之认为粗疏，于是更造新的历法。给皇帝上奏说：
我广泛搜访前人书籍，深入研究古代经典，五帝时的躔次，三王时的交分，《春秋》中的气朔，《竹书纪年》中的薄食，司马谈、司马迁的载述，班彪、班固的列志，曹魏时的注历，晋代的《起居注》，以寻求古今之异，考察总结了华族和少数民族的历法。自产生文字以来，二千多年，日、月相离相会的迹象，五星行度疏密之验证。我是专门下功夫深入思考，都是能够知道而可讲述的。特别是自己测量圭尺，亲自观察仪器和计时器漏刻，眼睛完全看到毫厘小数，心中进行计算，考查变迁，这就深入掌握了其它历法的详情了。
然而古代历法粗疏错误，大都不够精密，各家互有矛盾，他们未能研究出对它的正确认识。等到何承天所献上的历法，他愿望是要改革，可是设置的法则简略。根据我的校验，看到它的三个错误：日月所在位置，发觉其误差三度；冬至，夏至晷影长度几乎失误一天；五星见伏的日期，误差达到四十天，留逆进退，有的推移了两个星宿。春秋分冬夏至失去真实，则节气置闰就不正确；宿度不与天象实际相符，则等候观察就无准。我生逢圣明的时候，都赶上好运气，敢于拿出愚盲，再次创造新的历法。
谨提出改变的设想有二，设置法则的情况有三。改变的第一点：按旧法一章，为十九年设有七闰，闰数多了，经过二百年就差一天。节气置闰既然变动，则要相应改变闰法，日月运行轨道的分纪就屡次迁改，是由于这一条。现在改章法为三百九十一年设有一百四十四闰，令其符合周代、汉代之法，那么将来就能永远使用，不会再出现差误变动。第二点：根据《尚书·尧典》所说“日短星昴，以正仲冬”。以此推之唐尧之世的冬至日，在现在星宿之左边差不多五十度。汉代初期。仍用秦代历法，冬至日在牵牛六度。汉武帝改革建立《太初历》，冬至日在牵牛初度。后汉的四分历，冬至日在斗宿二十二度。晋代的姜岌用月食检验日之所在，知道冬至日在斗宿十七度。现在参照中星，考查日月交食和朔望变化，冬至之日，在斗宿十一度。通而计之，不满百年。就差了二度。旧法都令冬至日有固定位置，天文数据既然差错，则日月五星的宿度，就逐渐显露错误。乖谬既然显著就相应改变。这样做止能符合一时，而不能通行长久。改来改去不停，便是由于这条。现在知道冬至所在位置岁岁微差，回过头检验汉代历注，都很慎密，将来永久施用，不必烦劳屡次修改。还有设置法则，其一，以子时为时辰之首，（从方向来说）子位在正北，封爻应在初九为升气的开始，虚为北方七宿之中宿。元气的发端，应当在这个“次”。前代学者虞喜，对其意义给予了详细论述。我的历法上元度日，发端于虚宿。其二，用日辰之号子，甲子日为前导，历法设起算年（上元），应当在此年。但是黄帝以来，世代所用，总共有十一种历法，“上元”之年，没有相当于这个名称的。我的历法上元那年在甲子。其三，以上元之年，历法中的众多条款，都应以此为计算的起点。可是《景初历》的交会迟疾，历元的开始参差不齐。又如何承天的历法，日月五星，各自有各自的历元，交食迟疾，也都设置不同起点，剪裁使得朔气相合而巳，条件次序纷繁错误。未达到古代的意境。现在设法使日月五星交会迟疾，都是以上元岁首为起点，众多支流有共同的源泉，大多没有错误。
如果对定形进行测量，就得到真实效果。悬挂的星象显著明亮，用圭表等仪器测验可推算，变动的气虽不明显而微弱，可用径寸的竹管候测不会有差错。现在我所建立的，容易使人取信。但是综合研究始终，大多存在不精密，革新变旧，有简有繁。用简的条款，道理上不必自我恐惧；用较繁的意思，不过不是谬误，为什么？就是记闰不整齐，数据各有分数。把分数做为主体，并非不细密，我这样做是特别珍惜毫厘之类的小数，以完成求解出美妙之则，不去掉累积，以成就永久固定的著述，不是经思考而不知道，也不是明白了还不改。如果所献上的历法万一可以采用。我愿意由皇帝向各部门宣传，给予详细考究。
上报到皇帝，孝武帝令朝廷的官员们懂得历法的提出质难，而没人能把他难倒。可是正赶上孝武帝逝世未能施行，派祖冲之出去担任娄县令，又调回任谒者仆射。当年宋孝武帝平定关中时缴获后秦姚兴时制作的指南车，有外部形状而没有机巧，每当行走，使人在车内旋转指向。到宋升明时，齐太祖肖道成辅佐朝政，使祖冲之按古法修造指南车。祖冲之改用铜制机械，圆转不穷，而指示方向保持不变，是三国时马钧以来所没有的。当时有一位北方人索驭麟，也说能制造指南车，肖道成就让他与祖冲之各造一辆，让他们在京城的乐游苑相对同时进行校对试验，结果索驭麟的颇有偏差，于是折毁烧掉了。齐永明（公元483—493年）中，竟陵王肖子良爱好古物，祖冲之制造了一件欹器献给他。
文惠太子肖长懋在东宫，看到了祖冲之的历法，启奏给齐武帝施行，文惠太子不久死去，事情又被搁置。祖冲之转任长水校尉，领本职。他写作《安边论》奏章，建议开屯田，发展农殖。齐建武（公元494—498年）中，明帝肖鸾派祖冲之巡行四方，兴造大业，可以有利于百姓，恰好连年有战争，事情终于没有实行。
祖冲之懂得乐律学，博塞游戏当时独绝，没有能和他匹敌的。他认为诸葛亮有木牛流马，于是制造一件器械。不依靠风、水，施用机关能自己运行，不靠人力。又造千里船，在长江的新亭江段试验，一日能走一百多里。在乐游苑造水碓磨，齐世祖即武帝亲自到场观看。又特别精通数学。永元二年（公元500年），祖冲之去世，终年72岁。
