機架式服務器的外形看來不像計算機，而像交換機，有1U(1U=1.75英寸)、2U、4U等規格。機架式服務器安裝在標准的19英寸機櫃裡面。這種結構的多為功能型服務器。
對於信息服務企業(如ISP/ICP/ISV/IDC)而言，選擇服務器時首先要考慮服務器的體積、功耗、發熱量等物理參數，因為信息服務企業通常使用大型專用機房統一部署和管理大量的服務器資源，機房通常設有嚴密的保安措施、良好的冷卻系統、多重備份的供電系統，其機房的造價相當昂貴。如何在有限的空間內部署更多的服務器直接關系到企業的服務成本，通常選用機械尺寸符合19英寸工業標准的機架式服務器。
機架式服務器也有多種規格，例如1U(4.45cm高)、2U、4U、6U、8U等。通常1U的機架式服務器最節省空間，但性能和可擴展性較差，適合一些業務相對固定的使用領域。4U以上的產品性能較高，可擴展性好，一般支持4個以上的高性能處理器和大量的標准熱插拔部件。管理也十分方便，廠商通常提供人相應的管理和監控工具，適合大訪問量的關鍵應用，但體積較大，空間利用率不高。
