早期的直线运动轴承形式，就是在一排撬板下放置一排木杆。现代直线运动轴承使用的是同一种工作原理，只不过有时用球代替滚子。最简单的旋转轴承是轴套轴承，它只是一个夹在车轮和轮轴之间的衬套。这种设计随后被滚动轴承替代，就是用很多圆柱形的滚子替代原先的衬套，每个滚动体就像一个单独的车轮。
在意大利奈米湖发现的一艘建造于公元前40年的古罗马船只上，发现了早期的球轴承的实例：一个木制球轴承是用来支撑旋转桌面。据说列昂纳多·达·芬奇在1500年左右曾经对一种球轴承进行过描述。球轴承的各种不成熟因素中，有很重要的一点就是球之间会发生碰撞，造成额外的摩擦。但是可以通过把球放进一个个小笼里防止这种现象。17世纪，伽利略对笼装球的球轴承做过最早的描述。十七世纪末，英国的C.瓦洛设计制造球轴承，并装在邮车上试用以及英国的P.沃思取得球轴承的专利。最早投入实用的带有保持架的滚动轴承是钟表匠约翰·哈里逊于1760年为制作H3计时计而发明的。十八世纪末德国的H.R.赫兹发表关于球轴承接触应力的论文。在赫兹成就的基础上，德国的R.施特里贝克、瑞典的A.帕姆格伦等人进行了大量的试验，对发展滚动轴承的设计理论和疲劳寿命计算作出了贡献。随后，俄国的N.P.彼得罗夫应用牛顿粘性定律计算轴承摩擦。第一个关于球沟道的专利是卡马森的菲利普·沃恩在1794年获得的。