计算机诞生后不久

在计算机诞生后不久，人们发现某些特定作业在许多不同的程序中都要被实施，比如说计算某些标准数学函数。出于效率考量，这些程序的标准版本就被收集到一个“库”中以供各程序调用。许多任务经常要去额外处理种类繁多的输入输出接口，这时，用于连接的库就能派上用场。
20世纪60年代，随着计算机工业化普及，计算机越来越多地被用作一个组织内不同作业的处理。很快，能够自动安排作业时续和执行的特殊软件出现了。这些既控制硬件又负责作业时序安排的软件被称为“操作系统”。一个早期操作系统的例子是IBM的OS/360。
在不断地完善中，操作系统又引入了时间共享机制——并发。这使得多个不同用户可以“同时”地使用机器执行他们自己的程序，看起来就像是每个人都有一部自己的计算机。为此，操作系统需要像每个用户提供一部“虚拟机”来分离各个不同的程序。由于需要操作系统控制的设备也在不断增加，其中之一便是硬盘。因之，操作系统又引入了文件管理和目录管理（文件夹），大大简化了这类永久储存性设备的应用。此外，操作系统也负责安全控制，确保用户只能访问那些已获得允许的文件。
当然，到目前为止操作系统发展历程中最后一个重要步骤就是为程序提供标准图形用户界面。 尽管没有什么技术原因表明操作系统必须得提供这些界面，但操作系统供应商们总是希望并鼓励那些运行在其系统上的软件能够在外观和行为特征上与操作系统保持一致或相似。
除了以上这些核心功能，操作系统还封装了一系列其他常用工具。其中一些虽然对计算机管理并无重大意义，但是于用户而言很是有用。比如，苹果公司的Mac OS X就包含视频剪辑应用程序。
一些用于更小规模的计算机的操作系统可能没用如此众多的功能。早期的微型计算机由于记忆体和处理能力有限而不会提供额外功能，而嵌入式计算机则使用特定化了的操作系统或者干脆没有，它们往往通过应用程序直接代理操作系统的某些功能。