2026-11-19 11:54:47
来 源
中国存储网
存储资讯
管理员可以在不中断相关研究和应用的前提下,保护优先级工作负载,并更高效地利用共享基础设施。

中国存储网消息,在SC26上,Vast Data公司宣布推出作业级服务质量(QoS)功能,这是Vast AI操作系统中一项新功能,使调度员和管理员能够动态控制单个计算作业如何消耗共享I/O资源,而无需停止或重启它们。几十年来,大型计算环境的管理员一直面临一个熟悉的问题:一项I/O密集型作业可能拖慢数十个其他作业,且几乎没有干预手段,否则会中断当前的工作。在全球最大的计算系统中,关键仿真可能因无关的分析工作负载而延迟,即使计算能力充足。对于研究机构和人工智能基础设施提供商来说,这种竞争带来了不可预测的性能、运营中断以及昂贵基础设施的低效利用。

Vast Data推出作业级服务质量(QoS)功能,加速I/O密集型作业

作业级 QoS 通过将工作负载管理器(如 Slurm、PBS Pro 和 LSF)定义的作业身份扩展到 Vast 数据层,来应对这一挑战。这使得组织能够将 I/O 性能视为与计算一类可分配资源,逐项执行单个带宽和 IO/s 策略,并在工作负载持续运行的同时实时调整分配。管理员可以在不中断相关研究和应用的前提下,保护优先级工作负载,并更高效地利用共享基础设施。

“任何使用过高性能计算的人都知道,当另一项工作消耗超过其共享资源份额时,性能不可预测的挫败感,”Vast Data首席技术战略师格伦·洛克伍德说。“调度器能准确知道哪些作业正在运行,但这种理解历来只停留在存储系统。通过 Job-Level QoS,我们正在缩小这一差距。存储系统本身现在可以管理其为争夺资源的单个作业所提供的 I/O 性能,使资源管理器和调度器能够优先分配带宽和 IO/s,而无需取消作业或更改应用程序运行方式。”

该功能在 Vast AI 操作系统中引入了若干新的控制功能:

  • 在单个岗位层面强制执行 QoS:Vast NFS 客户端携带可配置的作业标识符,并可响应 I/O 请求,使 Vast 能够对共享单一计算节点的多个作业应用独立的带宽和 IOPS 策略,或在单一策略下管理跨多个节点作业的集体 I/O
  • 在不中断的情况下调整性能:管理员可以实时修改读写性能策略,无需重启作业、修改应用程序或重新挂载存储
  • 查看哪些工作正在消耗资源:可选的开源VNFS Collector提供对带宽、IOPS和错误的作业级可视化,并通过Prometheus、Grafana或Vast DataBase实现遥测
  • 将控制扩展到批处理之外:底层架构还支持 Kubernetes 和其他编排器,实现了在 AI 训练、推理和科学计算环境中的工作负载级性能管理

在 SC26 上,Vast 将演示作业级 QoS 的实际应用,展示管理员如何在工作负载持续不间断运行的同时,识别竞争作业、动态调整带宽分配,并在共享基础设施中执行独立的性能策略。

作业级 QoS 计划于 2027 年 1 月底或 2 月初随 Vast AI OS 5.6 一起推出,需要 Vast NFS 4.8 或更高版本。SC26的与会者可以在活动中看到该能力的演示。

声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。