机架式服务器的外形看来不像计算机，而像交换机，有1U(1U=1.75英寸)、2U、4U等规格。机架式服务器安装在标准的19英寸机柜里面。这种结构的多为功能型服务器。
对于信息服务企业(如ISP/ICP/ISV/IDC)而言，选择服务器时首先要考虑服务器的体积、功耗、发热量等物理参数，因为信息服务企业通常使用大型专用机房统一部署和管理大量的服务器资源，机房通常设有严密的保安措施、良好的冷却系统、多重备份的供电系统，其机房的造价相当昂贵。如何在有限的空间内部署更多的服务器直接关系到企业的服务成本，通常选用机械尺寸符合19英寸工业标准的机架式服务器。
机架式服务器也有多种规格，例如1U(4.45cm高)、2U、4U、6U、8U等。通常1U的机架式服务器最节省空间，但性能和可扩展性较差，适合一些业务相对固定的使用领域。4U以上的产品性能较高，可扩展性好，一般支持4个以上的高性能处理器和大量的标准热插拔部件。管理也十分方便，厂商通常提供人相应的管理和监控工具，适合大访问量的关键应用，但体积较大，空间利用率不高。
