回到剑桥后，牛顿又开始了他的研究工作。牛顿的最大成就是在数学方面。早在1664年和1665年间冬天在研读沃利斯博士的《无穷算术》时，他在试图修改自己在求圆面积的级数时发现这一定理的。
笛卡儿的解析几何把描述运动的函数关系和几何曲线相对应。牛顿在老师巴罗的指导下，在钻研笛卡儿的解析几何的基础上，找到了新的出路。
可以把任意时刻的速度看成是在微小的时间范围里的速度的平均值，这就是一个微小的路程和时间间隔的比值，当这个微小的时间间隔缩小到无穷小的时候，就是这一点的准确值。这就是微分的概念。
求微分相当于求时间和路程关系在某点的切线斜率。一个变速的运动物体在一定时间范围里走过的路程，可以看作是在微小时间间隔里所走路程的和，这就是积分的概念。求积分相当于求时间和速度关系的曲线下的面积。牛顿从这些基本概念出发，建立了微积分。
微积分的创立是牛顿最卓越的数学成就。牛顿为解决运动问题，才创立这种和物理概念直接联系的数学理论的，牛顿称之为“流数术”。它所处理的一些具体问题，有切线问题、求积问题、瞬时速度问题以及函数的极大值和极小值问题等。
在牛顿前微积分已经得到人们的研究了，微分和积分的思想在古代就已经产生了。
公元前3世纪，古希腊的阿基米德在研究解决抛物弓形的面积、球和球冠面积、螺线下面积和旋转双曲体的体积的问题中，就隐含着近代积分学的思想。
作为微分学基础的极限理论来说，早在古代已有比较清楚的论述。比如中国的庄周所著的《庄子》一书的“天下篇”中，记有“一尺之棰，日取其半，万世不竭”。
三国时期的刘徽在他的割圆术中提到“割之弥细，所失弥小，割之又割，以至于不可割，则与圆周和体而无所失矣”。这些都是朴素的，也是很典型的极限概念。
到了17世纪，有许多科学问题需要解决，这些问题也就成了促使微积分产生的因素。归结起来，大约有四种主要类型的问题：
第一类是研究运动的时候直接出现的，也就是求即时速度的问题。
第二类问题是求曲线的切线的问题。
第三类问题是求函数的最大值和最小值问题。
第四类问题是求曲线长、曲线围成的面积、曲面围成的体积、物体的重心、一个体积相当大的物体作用于另一物体上的引力。
17世纪的许多著名的数学家、天文学家、物理学家都为解决上述几类问题做了大量的研究工作，提出了许多很有建树的理论，为微积分的创立作出了贡献。
牛顿超越了前人，他站在了更高的角度，对以往分散的努力加以综合，将自古希腊以来求解无限小问题的各种技巧统一为两类普通的算法，即微分和积分，并确立了这两类运算的互逆关系，从而完成了微积分发明中最关键的一步，为近代科学发展提供了最有效的工具，开辟了数学上的一个新纪元。
应该说，一门科学的创立绝不是某一个人的功绩，它必定是经过多少人的努力后，在积累了大量成果的基础上，最后由某个人或几个人总结完成的。微积分也是这样，是牛顿在前人各自独立的基础上建立起来的。
后来，在1707年，牛顿的代数讲义经整理后出版，定名为《普遍算术》，主要讨论了代数基础及其在解决各类问题中的应用。
书中陈述了代数基本概念与基本运算，用大量实例说明了如何将各类问题化为代数方程，同时对方程的根及其性质进行了深入探讨，引出了方程论方面的丰硕成果，例如他得出了方程的根与其判别式之间的关系，指出可以利用方程系数确定方程根之幂的和数，即“牛顿幂和公式”。
牛顿对解析几何与综合几何都有贡献。他在1736年出版的《解析几何》中引入了曲率中心，给出密切线圆，或称曲线圆概念，提出曲率公式及计算曲线的曲率方法。
他还将自己的许多研究成果总结成专论《三次曲线枚举》，于1704年发表。此外，牛顿的数学工作还涉及数值分析、概率论和初等数论等众多领域。
