李善兰自幼酷爱数学。9岁时，他发现父亲的书架上有一本中国古代数学名著——《九章算术》，感到十分新奇有趣，从此就迷上了数学。14岁时他又靠自学读懂了徐光启与利玛窦合译的古希腊数学名著欧几里得《几何原本》前六卷。李善兰发现欧氏几何严密的逻辑体系，清晰的数学推理，与偏重实用解法和计算技巧的中国古代传统数学思路有很大的不同，他在学习《九章算术》的基础上，吸取了《几何原本》的新思想，结合两种文明的长处和特点，这使他的数学水平有了很大的提高。

几年后李善兰到省府杭州参加乡试，由于他酷爱数学，“故于算学用心极深”而对八股文章下工夫不够，做得不好，所以未考中落榜。但他却毫不介意，而是利用在杭州的机会，留意搜寻各种数学书籍，买回了李冶的《测圆海镜》和戴震的《勾股割圆记》，仔细研读。同时还在嘉兴等地与数学家顾观光、张文虎、汪曰桢以及戴煦、罗士琳、徐有壬等人相识，经常在学术上相互切磋。自此数学造诣日臻精深，时有心得，辄复著书，1845年前后发表了具有解析几何思想和微积分方法的数学研究成果──“尖锥术”。 　

李善兰与英国传教士伟烈亚力等人合作翻译《几何原本》后九卷

 从1852年到1859年期间，李善兰在上海墨海书馆与英国传教士、汉学家伟烈亚力等人合作翻译出版了《几何原本》后九卷。除此之外，李善兰还翻译《代数学》13卷、《代微积拾级》18卷、《谈天》18卷、并与人合作翻译《重学》20卷和《圆锥曲线说》3卷等大量的数学论著，《植物学》等西方近代科学著作，还翻印了《奈端数理》（即牛顿《自然哲学的数学原理》）四册（未刊），这是解析几何、微积分、哥白尼日心说、牛顿力学、近代植物学传入中国的开端。

李善兰的翻译工作是很有独创性的，许多重要的中文数学名词术语，“代数”、“函数”、“方程式”、“微分”、“积分”、“级数”、“植物”、“细胞”等都是他创造的。他匠心独具地选用的这些中文的科学名词，不仅意思贴切，很容易理解，而且又是雅而不俗。这些名词不仅在中国流传，而且东渡日本，沿用至今。李善兰为近代科学在中国的传播和发展作出了开创性的贡献。

1860年起他先后在徐有壬、曾国藩军中作幕僚，与化学家徐寿、数学家华蘅芳等人一起积极参与洋务运动中的科技学术活动。1867年他出版了《则古昔斋算学》，汇集了二十多年来在数学、天文学和弹道学等方面的著作，计有《方圆阐幽》、《弧矢启秘》、《对数探源》、《垛积比类》、《四元解》、《麟德术解》、《椭圆正术解》、《椭圆新术》、《椭圆拾遗》、《火器真诀》、《对数尖锥变法释》、《级数回求》和《天算或问》等13种24卷，共约15万字。

1868年，李善兰被荐任北京同文馆天文算学总教习，直至1882年他逝世为止，从事数学教育十余年，其间审定了《同文馆算学课艺》、《同文馆珠算金□》等数学教材，培养了一大批数学人才，是中国近代数学教育的鼻祖。

李善兰潜心科学，淡于利禄。晚年官至三品，授户部正郎、广东司行走、总理各国事务衙门章京等职，但他从来没有离开过同文馆教学岗位，也没有中断过科学研究特别是数学研究工作。他的数学著作，除《则古昔斋算学》外,尚有《考数根法》、《粟布演草》、《测圆海镜解》、《九容图表》，而未刊行者，有《造整数勾股级数法》、《开方古义》、《群经算学考》、《代数难题解》等。

李善兰创立的“尖锥”概念，是一种处理代数问题的几何模型，他对“尖锥曲线”的描述实质上相当于给出了直线、抛物线、立方抛物线等方程。他创造的“尖锥求积术”，相当于幂函数的定积分公式和逐项积分法则。还在各种三角函数和反三角函数的展开式，以及对数函数的展开式，在使用微积分方法处理数学问题方面取得了创造性的成就。 尖锥术理论主要见于《方圆阐幽》、《弧矢启秘》、《对数探源》三种著作，成书年代约为1845年，当时解析几何与微积分学尚未传入中国。

1859～1867李善兰从研究中国传统的垛积问题入手，写了一本有关高阶等差级数的著作《垛积比类》，获得了一些相当于现代组合数学中的成果。例如，“三角垛有积求高开方廉隅表”和“乘方垛各廉表”实质上就是组合数学中著名的第一种斯特林数和欧拉数。可以认为，《垛积比类》是早期组合论的杰作。