玩酷网

IBM Spectrum LSF:让超级计算不再"超级难"

何金池,IBM科技事业部资深架构师

面向分布式高性能计算(HPC)的工作负载调度系统和资源管理平台。

北京2025年6月4日--现在搞大模型,GPU芯片就是命根子,没有高性能的GPU芯片,大模型跑不动,大模型的应用也玩不转。所以高性能芯片的研发就变得非常关键,就拿一个7nm芯片的仿真来说,每分钟能喷涌出,几千个甚至上万个作业,可能会瞬间挤爆计算资源。那如何把成千上万个作业有序的调度到大规模的集群中呢?这时候,就得请出HPC(高性能计算)调度界的"大宗师"——IBMSpectrumLSF!

在大模型时代,电子半导体是当前技术攻坚的关键领域,IBMSpectrumLSF如何助力半导体企业应对AI时代的高性能芯片需求?

作为HPC调度领域的扛把子,LSF经过三十年的发展,但凡你想到调度的这种需求,基本都能满足。LSF有一系列的智能调度策略,可以让作业在最合适的资源,以最快的速度来完成。比如说对一些关键的作业,LSF会开绿灯,保证高优先级的作业插队完成,低优先级的作业先靠边站。也可以根据作业的一些依赖关系编排工作流。同时,LSF还会实时的扫描整个集群的状态,然后发现哪个服务器在偷水摸鱼就会立刻抓出来,给他安排上合适的作业。

这里我分享一个半导体客户的案例。他在芯片仿真过程中,遇到了作业不能及时完成、资源利用率低的情况,导致产品的上市周期非常长。用了LSF之后,他的资源利用率暴增40%,芯片仿真的验证周期几乎缩短到了原来的一半。原来一个作业要等很长时间才能出结果,现在可以说,温酒斩华雄,工程师泡的咖啡还没凉,作业已经算完了。

LSF如何助力企业降本增效?

LSF不光可以帮企业增效,也可以降本。比如说,在EDA(ElectronicDesignAutomation,电子设计自动化)软件里,有一些商业的许可证非常昂贵,贵到让人怀疑人生。曾经有一个半导体客户,他每年购买EDA的软件的商业许可证,要花费几千万的美金。对于普通的调度器来说,他只管硬件资源,不管像许可证这样的一些其他资源的调度。而LSF作为调度界的"瑞士军刀",它有一个功能模块叫做LicensesScheduler,是业界唯一具备的功能,可以帮助企业去调度商业许可证,按需分配,不用的时候及时收回,还可以跨项目的去调度这个许可证。就拿刚才的案例来说,这个半导体企业利用LSFLicensesScheduler功能模块,它的许可证利用率暴涨了38%,还避免了因为没有License的时候,经常导致作业失败的情况。所以LSF帮助企业省钱的同时,还提高了工作效率,真正做到了一举两得。

IBMSpectrumLSF的独特优势有哪些?

首先,LSF被称为"瑞士军刀",就是因为它强悍的性能和丰富的功能。LSF同时可以支持几千个用户向它提交作业,可以同时管理几百万个作业。LSF的功能也非常齐全,基本上我们看到在HPC这种场景下看到的需求,不管是作业管理、作业编排、作业调度、作业监控,LSF都可以满足。其他这种调度软件,它可能只满足一些基本的调度需求,对于一些高性能的策略,更智能的策略,它是没有的。还有一些,比如说商业许可证调度功能,其他调度软件也是没有的。

另一方面,IBM具有全世界范围内7x24小时的专业支持团队。如果您在使用LSF过程中遇到问题,您随时可以登录我们的系统或拨打电话去寻求解决方案。这种贴身的专业支持,一些开源软件也是不具备的。

IBMSpectrumLSF的应用场景有哪些?

LSF的应用场景非常广泛。比较常见的,比如刚提到的芯片EDA的仿真,还有生命科学和生物制药,一些高端制造的CIE的场景,还有石油、天然气、天气预报、人工智能,以及一些超级的计算中心。

目前在芯片电子半导体企业,不管是大型的企业还是微创的企业,基本上我们看到百分之七八十已经在用了。还有一些医疗行业,因为我们跟一些医疗的软件可以无缝的集合起来,能做这种基因的检测,或者蛋白质的仿真。

在新冠期间,LSF是幕后英雄。它在新冠疫苗研发里起了非常大的作用。国外某家新冠疫苗研发企业,它使用了LSF来做它的作业调度,使得它的疫苗尽快的推上市场。

我们每天看精准的天气预报,比如说要刮大风,要下雨了,也是离不开LSF在幕后帮我们做的高性能的资源编排、作业的调度。

最后,我用14个字来总结IBMSpectrumLSF:智能调度快如风,资源管理准又精。如果您遇到"作业算不过来""资源管不过来"等问题,欢迎联系我们,IBMSpectrumLSF让您的超级计算不再"超级难"。

======================

关于IBM

IBM是全球领先的混合云、人工智能及企业服务提供商,帮助超过175个国家和地区的客户,从其拥有的数据中获取商业洞察,简化业务流程,降低成本,并获得行业竞争优势。金融服务、电信和医疗健康等关键基础设施领域的超过4000家政府和企业实体依靠IBM混合云平台和红帽OpenShift快速、高效、安全地实现数字化转型。IBM在人工智能、量子计算、行业云解决方案和企业服务方面的突破性创新为我们的客户提供了开放和灵活的选择。对企业诚信、透明治理、社会责任、包容文化和服务精神的长期承诺是IBM业务发展的基石。

了解更多信息,请访问:

IBM媒体联络人:

陈赟,