IT之家 8 月 7 日音书，Meta 公司于 8 月 5 日发布博文小泽玛利亚快播，暗示为了餍足大限制散播式 AI 窥察对蚁集的需求，构建了基于 RoCEv2 条约的大限制 AI 蚁集。
RoCEv2 的全称是 RDMA Over Converged Ethernet version 2，是一种节点间通讯传输格式，用于大部分东谈主工智能容量。
Meta 公司已到手推广了 RoCE 蚁集，从原型发展到部署了广大集群，每个集群可容纳数千个 GPU。
这些 RoCE 集群撑捏凡俗的出产型散播式 GPU 窥察责任，KK系列包括名次、推行推选、推行清醒、当然谈话处治和 GenAI 模子窥察等责任负载。
Meta 公司为散播式 AI 窥察专诚征战了一个专用的后端蚁集，或者寥寂于数据中心蚁集的其他部分进行发展、脱手和推广。
街拍丝袜窥察集群依赖于两个寥寂的蚁集：前端（FE）蚁集用于数据吸收、搜检点和日记记载等任务小泽玛利亚快播，后端（BE）蚁集用于窥察，欧美性爱图片如下图所示:
窥察机架运动到数据中心蚁集的 FE 和 BE。FE 的蚁集档次包括机架交换机 (RSW)、结构交换机（FSW）等，其中包含存储仓库，为 GPU 提供窥察责任负载所需的输入数据。
后端结构是一个专诚的结构，它以无梗阻的架构运动所有这个词 RDMA 网卡，非论它们的物理位置奈何，在集群中的纵情两个 GPU 之间提供高带宽、低蔓延和无损传输。
为了搪塞 LLM 模子窥察对 GPU 限制的需求，Meta 谈判了团员窥察交换机（ATSW）层，将多个 AI 区域互连起来。此外，Meta 还优化路由、拥塞遏抑等方面，以进步蚁集性能。
IT之家附上参考地址
RDMA over Ethernet for Distributed AI Training at Meta Scale
ACM SIGCOMM 2024 大会
RoCE networks for distributed AI training at scale小泽玛利亚快播