在过去十年中,高性能计算 (HPC) 系统上的工作流已经大大多样化,通常将 AI/ML 处理与传统 HPC 相结合。作为回应,已经设计并使用了各种各样的专用 HPC 计算机系统(集群节点)来解决特定的应用程序和框架性能优化问题。针对这些系统的不同队列允许每个用户指示批处理调度程序将作业分派到与其应用程序的计算要求非常匹配的硬件。高内存节点、具有一个或多个加速器的节点、支持高性能并行文件系统的节点、交互式节点以及旨在支持容器化或虚拟化工作流的主机只是为 HPC 开发的专用节点组的几个示例。
托管 HPC 集群的数据中心中互连系统的密度和流量要求需要像脊/叶架构这样的拓扑结构。如果 HPC 系统的容量增长超出单个位置的容量并且正在分布在多个建筑物或数据中心。涉及进程间通信、交互式访问、共享文件系统 I/O 以及 NTP、DNS 和 DHCP 等服务流量的流量模式,其中一些表现出很强的延迟敏感性,否则将不得不竞争可用带宽。使用脊/叶架构的连接通过启用可以为任何节点到节点通信提供唯一且不受限制的路径的路由算法来解决这个问题。
HPC 现在正在从几乎完全专门构建的本地基础架构进一步发展为混合甚至完全驻留在云的架构。过去几十年来,构建、运营和维护用于托管专用 HPC 的基础设施的高昂成本已促使许多政府实验室、公司和大学重新思考专用 HPC 的战略。除了购买构建本地 HPC 集群所需的空间、机架、电源、冷却、数据存储、服务器和网络,更不用说维护和更新这些系统的人员和费用,除了最大的 HPC 从业者之外,所有的人都在迁移从提供 HPC 服务的云提供商那里获得更加基于使用的模型。这些变化刺激了对互联网连接和带宽的重新投资,以实现云爆发、数据迁移、和云驻留基础架构上的交互性。这为致力于建立自定义环境以开发和运行应用程序框架的开发人员带来了新的挑战,通常会产生复杂的软件版本相互依赖性。容器化的使用有助于隔离许多这些软件和库依赖项,由于放松了主机映像限制,使云迁移变得更简单。
400G/800G 以太网的 HPC 网络基础设施注意事项
负责提供所有这些流量的互联网服务提供商和运营商依赖于以稳定可靠的速度增长的技术,当然,他们的成本意识很强,因为他们的底线与建设、升级和管理的投资有关网络基础设施的运营成本。超大规模运营商和云服务提供商还面临着越来越大的成本压力,需要在其数据中心聚合和减少交换机设备的数量、电力利用率和冷却需求。
在将以太网驱动到这些新的速度高度时,成本并不是唯一需要考虑的因素。 PAM-4 信令最初以 25 Gb/s 的信令速率引入,作为 100G 以太网的推动者,但由于误码率较高,这种方法需要前向纠错 (FEC)。包含 FEC 的信令更改会为物理层设计带来延迟开销和复杂性,但更快的信令速率也需要强制使用 FEC。虽然多个 100 Gb/s 端口的链路聚合以实现更高的带宽(通过 NRZ 信令速率仍然可以实现)可能是解决此问题的临时方法,但由于它所需要的密度限制以及所需的成倍增加的端口数量的成本增加。对于超过 400G 的以太网,
布线是高速以太网的另一个挑战。即使在短距离内,铜缆在这些速度下通常噪音太大且耗电 光缆必须更靠近核心物理编码子系统 (PCS) 层,以避免由于使用外部电光子连接器而引入的信号损失和功率需求。一个用例需要中断布线选项,因为具有足够高带宽的单个交换机端口可以支持多个计算机系统。另一个用例侧重于汇聚层交换机到交换机或站点到站点的连接。用于长距离连接(每个重复段约 80 公里)的密集波分复用 (DWDM) 和用于较短距离连接的单模光纤 (SMF) 将逐渐取代多模光纤和铜线技术,以实现 200 Gb/s 的信号速率,但 100G 电信号速率和多模光纤成本优势将在未来几年内难以克服和取代。CWDM 和 DWDM 引入了相干光信号作为 PAM-4 的替代方案,但需要更大的功率、成本和复杂性才能实现更长的传输距离。在数据中心内,向后兼容性、交换机聚合和交换机数量减少以及节能潜力的压力是灵活的板载光学设计的强大诱因,该设计还可以容纳现有的可插拔模块以实现降速连接。和复杂性,以实现他们实现的更远距离。在数据中心内,向后兼容性、交换机聚合和交换机数量减少以及节能潜力的压力是灵活的板载光学设计的强大诱因,该设计还可以容纳现有的可插拔模块以实现降速连接。和复杂性,以实现他们实现的更远距离。在数据中心内,向后兼容性、交换机聚合和交换机数量减少以及节能潜力的压力是灵活的板载光学设计的强大诱因,该设计还可以容纳现有的可插拔模块以实现降速连接。
使用 IP 启用 400G/800G 以太网
那么 SoC 设计人员如何开发支持 400G 及以上以太网的芯片呢?网络交换机和计算机系统必须使用支持这些高数据速率的组件来提供它们所承诺的应用程序加速。无论是降低网络结构的复杂性以实现更高级别的聚合,将超大规模器的基础架构扩展至超出先前较慢网络技术所施加的限制,还是加快将数据传输到运行在一组网络连接计算机上的神经网络——数据路径中的所有元素都必须能够支持所需的较低延迟和较高带宽,而不会产生过多的功率或成本损失。当然,与较慢组件的向后兼容性将确保 400G/800G 以太网及更高版本的无缝采用和集成到现有数据中心。
在 400G/800G 网络中提供这种性能涉及物理和电子领域的多重挑战。具有更快时钟速度、并行路径和复杂信号要求的电效率难以实现,而更快的通信速度所固有的更高错误率产生了对高效 FEC 的需求,以确保在低重传率的情况下实现最小延迟。如前所述,布线介质必须支持机架、数据中心甚至城市规模的更高数据速率。没有一种布线技术能在如此多样化的长度范围内达到理想状态,因此开发的任何解决方案都必须支持多种媒体类型。
SoC 设计人员需要在考虑所有这些因素的情况下开发硅 IP,Synopsys 在多代协议中一直是以太网硅 IP 的领先开发商,并且在推动 400G/800G 以太网及更高版本的标准化方面仍然不可或缺。Synopsys 提供集成的400G/800G 以太网 IP解决方案,该解决方案符合行业标准,可配置以满足当今 HPC 的各种需求,即使是 AI/ML 工作负载,同时保持向后兼容较低的速度和较旧的标准化。