MinIO AIStor: 利用英伟达™(NVIDIA®)BlueField-3 DPU 率先开发
Arm 架构正在彻底改变超大规模云,这得益于其总拥有成本 (TCO) 优势(更低的功耗和更低的冷却要求),从而实现了可持续的大规模高性能计算。AWS、Azure 和 GCP 等行业领导者正在采用 Arm 来驱动其用于 AI 训练的最新计算实例,利用其效率来满足数据密集型工作负载的需求。这些同样引人注目的因素(成本节约、能源效率和简化的基础设施)现在有望推动企业客户在本地采用 Arm,构建可与云功能
Arm 架构正在彻底改变超大规模云,这得益于其总拥有成本 (TCO) 优势(更低的功耗和更低的冷却要求),从而实现了可持续的大规模高性能计算。AWS、Azure 和 GCP 等行业领导者正在采用 Arm 来驱动其用于 AI 训练的最新计算实例,利用其效率来满足数据密集型工作负载的需求。这些同样引人注目的因素(成本节约、能源效率和简化的基础设施)现在有望推动企业客户在本地采用 Arm,构建可与云功能相媲美的私有 AI 数据基础设施。在这个不断变化的环境中,MinIO 是先驱,从第一天起就设计了 Arm 原生对象存储。我们的创新将 MinIO 定位为企业级、Arm 驱动的 AI 数据基础设施的基石。
AIStor Arm 就绪:基本承诺
AIStor 对 Arm 架构的采用从第一天起就一直是我们愿景的基石,反映了我们对 Arm 变革潜力的信念。我们很早就认识到,Arm 卓越的能效和计算密度将重新定义现代数据基础设施,因此我们从头开始构建 AIStor 来利用这些优势。这种前瞻性的方法使我们能够完美地利用 Arm 在数据中心和 AI 工作负载中日益增长的地位,在这些领域中,能效和可扩展性为企业成功开启了新的可能性。最初,AIStor 使用 Arm 的 Neon 指令集优化性能,以加速纠删码和比特腐烂检测等基本功能。认识到 Neon 的局限性后,我们过渡到 Arm 的可扩展矢量扩展 (SVE) 以显著提高效率。与 Neon 相比,SVE 的 SIMD 架构为 Reed-Solomon 纠删码提供了显著的两倍吞吐量,同时仅使用四分之一的可用内核和一半的内存带宽。此外,我们用于 bit-rot 检测的 Highway Hash 算法演示了内核数量的线性扩展,在大约 50-52 个内核时实现了接近最大的内存带宽利用率,特别是对于较大的数据块大小。这些性能增强在先进的 Arm 硬件上经过严格测试,突显了 AIStor 充分利用 Arm 架构潜力的独特能力,确保无与伦比的效率和性能,重新定义专为要求苛刻的 AI 驱动型工作负载量身定制的对象存储解决方案。
JBOF 和 BlueField-3:有利可图的前沿
JBOF 或“Just a Bunch of Flash”是一种智能的全闪存存储系统,它放弃了传统的 CPU-内存-NIC 三重奏,使用数据处理单元 (DPU) 采用更智能、更集成的方法。“智能”来自将传统的服务器内部(CPU、RAM 和 NIC)换成 DPU,DPU 是一种将三个关键角色合二为一的专用处理器:网卡、数据加速器和存储处理器。NVIDIA BlueField-3 (BF3) DPU 具有 16 个 Arm 内核、400Gb/s 以太网或 InfiniBand 网络,以及用于加密、压缩和纠删码等任务的硬件加速器。AIStor 二进制文件大小仅为 ~100MB,证明了我们的极简设计理念,以最小的开销提供最大的功能。这种紧凑性使 MinIO 成为在 BF3 DPU 上进行原生部署的理想选择,因为 BF3 DPU 的资源限制需要轻量级但功能强大的软件。我们之前对 NVIDIA BlueField DPU 的测试验证了这种适用性,证明了 MinIO 能够在基于 Arm 的网络硬件上高效运行,从而减轻主机 CPU 的存储任务。
AIStor 原生部署在 BF3 DPU 上,为企业提供了一个与 NVIDIA 的 Spectrum-X 网络架构无缝集成的平台。这提供了 AI 环境所需的低延迟、高带宽性能,确保可靠的数据传输,从而优化 GPU 集群效率。在 BF3 驱动的 JBOF 配置中,AIStor 准备利用 GPU 直接存储 (GDS) 功能(目前正在开发中,即将全面发布)在以太网结构上通过 RDMA 传输数据。一旦实现,这种增强将提高 GPU 服务器和 JBOF 存储服务器的 CPU 效率,考虑到 JBOF 系统上可用的计算能力,这是一个关键优势。Spectrum-X 兼容性与即将推出的 GDS 集成的战略结合为企业提供了可扩展、高效和高性能的基础,以满足 AI 创新不断变化的需求。
结论
目前,AIStor 正在 Supermicro JBOF 设置上进行测试,这项工作正在进行中,对此配置的官方支持计划在晚些时候正式发布,进一步巩固我们对尖端解决方案的承诺。随着 AI 工作负载的规模和复杂性不断增长,对与 GPU 和 DPU 创新保持同步的存储的需求从未如此强烈。MinIO 的 Arm 就绪性,经过从 Neon 到 SVE 的多年优化而得到完善,使我们成为该领域的领导者。我们与新兴的 JBOF 架构和 NVIDIA BlueField-3 DPU 的兼容性放大了这一优势,为企业提供了一条实现高效且面向未来的百万兆次级存储的途径。MinIO 拥有良好的业绩记录和为 DPU 原生部署量身定制的紧凑二进制大小,不仅提供性能,还提供战略优势,使组织能够充分利用其 AI 基础设施的潜力。
更多推荐
所有评论(0)