在低档的CPU中，指令的执行是串行的，简单地说，就是执行完了一条指令后、再执行下一条指令，好比我们上面提到的那个加工厂在创业之初，只有一间小车间及孤军奋战的老板，那么，当他接到一张订单之后，他必然忙于完成第1张订单，而没有能力去接第2张订单。这样接订单完成订单接订单取指令执行指令取指令是一个串行的过程。后来，老板发现接受订单不费太多时间，而且他还有了一个帮工，他们可以相互独立地工作，这样，老板就在完成上张订单产品的同时，接受下一张订单的订货。这表现在CPU上就是取指令机构与执行指令机构的分开，这样从CPU整体来看，CPU在执行上条指令的同时，又在并行地取下条指令。这在CPU技术上是一个质的飞跃，它使得CPU从串行工作变为并行工作，从而具有了流水线的雏型。
CPU在完成了上面这一步之后，剩下的就是如何提高并行处理能力的问题了，CPU的设计者们从加工厂的装配线得到启发，将一条指令的执行分解成了许多各不相同的多个工序_微指令，从而极大地简化了指令的复杂度，简化了逻辑设计，提高了速度。在具有流水线技术的CPU中，上条指令刚执行完第一道工序，马上第二条指令就加入了流水线中，开始执行。很明显，这种流水线技术要求有多个执行单元，这在X86芯片中均得到了实现。
通过上面的介绍，我们已经了解到什么是流水线技术，这虽不是一种创新，但在技术的实现上则是一大难关，是CPU设计者对计算机发展的一大贡献。