用于半导体和医疗保健生命科学的 Amazon HPC

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/CMP214-HPC_on_AWS_for_semiconductors_and_healthcare_life_sciences-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 高科技和医疗保健的未来越来越依赖于在亚马逊云科技上运行的复杂高性能计算 (HPC) 模拟。加入本论坛，观看组织如何使用亚马逊云科技，满足苛刻的模拟工作负载的演示。亚马逊云科技上的 HPC 正在帮助客户推动跨多个行业和工作负载的创新。随着技术变得越来越复杂，建模和仿真将是进步的关键。亚马逊云科技提供了对强大的 HPC 基础设施的灵活访问，允许客户在没有大量资本投资的情况下进行创新。通过在云端访问可扩展、经济高效的超级计算功能，组织可以加速半导体、生物制药和医学领域的发现。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1700字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 亚马逊云科技全球高性能计算市场团队负责人Riva Tali主持了本次会议，欢迎与会者参加主题为高通量计算（HPC）在半导体和医疗保健生命科学行业在亚马逊云科技上运行的上午演讲。她在发言中概述道，在接下来的40分钟里，议程将包括她对亚马逊云科技上高通量计算所涉及的内容及涉及的客户和工作负载类型的介绍，接着Arm公司的Mark Galbraith将分享他们使用亚马逊云科技服务的经验，最后AstraZeneca的Sean O'Dell将阐述他们如何运用亚马逊云科技服务进行创新，例如在医疗保健和生命科学的基因组工作负载方面。 Riva在她的发言中强调了高通量计算在各个行业的广泛应用，从汽车制造商如丰田运行数千个内核进行产品设计的计算机辅助工程模拟，到气象和气候组织如欧洲中期天气预报中心利用数百万个并行任务进行数值天气预报和气候建模，再到医疗保健和生命科学公司如AstraZeneca使用高通量计算进行基因测序、药物发现的低温电子显微镜、分子建模和模拟。特别在半导体行业中，许多客户如Arm正在使用亚马逊云科技进行栅极级模拟、物理验证和大规模芯片设计工作。Riva还提到了高通量计算在能源行业的应用，如地震处理和储层模拟，客户如壳牌和道达尔也在使用亚马逊云科技，以及在金融服务业的风险建模和分析工作负载。 根据Riva的介绍，尽管HPC工作负载的具体应用各不相同，但常见模式会逐渐显现。一些工作负载是松散耦合的，这意味着它们涉及在数千甚至数百万个核心上并行运行许多单个模拟或计算。这些通常非常适合使用亚马逊云科技的Batch等服务。其他工作负载是紧密耦合的，如计算流体动力学或全球天气预报，这些需要使用MPI和在数百个核心之间进行过程间通信以实现最佳性能。这就是像弹性结构适配器(EFA)增强的网络功能等HPC功能发挥作用的地方。此外，加速计算工作负载变得越来越受欢迎，尤其是利用GPU、FPGA和其他专用硬件的大规模[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)训练。亚马逊云科技在这个领域也提供了广泛的功能，例如用于[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)推理的P4d实例。 Riva展示了几个通过HPC服务实现巨大规模和加速的亚马逊云科技客户示例。达纳-法伯研究所通过由亚马逊云科技Batch协调的困境并行基因组分析工作流程，扩展到超过570万个vCPU，以识别数十亿个癌症蛋白质细胞。澳大利亚的Woodside能源公司通过利用EFA启用的HPC集群，将传统的HPC系统的地震处理周期时间从10天缩短到仅19分钟，这是150倍的改进。一家名为Dear Labs的初创公司能够使用信用卡快速启动一个由C5n等EC2实例组成的几乎10千万次集群，使他们跻身双年一次的Top500超级计算机列表的前50名，展示了HPC在云上的民主化。 据Riva介绍，亚马逊云科技在过去十年中一直致力于投资高性能计算（HPC）和加速计算领域，并推出了一系列关键服务以满足HPC工作负载的需求。她从系统层面对此进行了深入剖析，涵盖了五大成功部署HPC所必需的关键要素：包括用于可扩展并行处理的EC2计算能力、诸如FSx for Lustre和S3等高性能存储服务、具有低延迟和高吞吐量的专用网络设备EFA、用于调度和资源管理的作业协调服务如亚马逊云科技Batch和ParallelCluster，以及最后的可视化解决方案Amazon WorkSpaces，用于在不需不断移动数据的情况下分析大型数据集。 Riva强调，在计算方面，亚马逊云科技提供了超过600种具有不同处理器的Amazon EC2实例类型，如Intel、AMD、Nvidia GPU和亚马逊云科技自家的Graviton芯片，以满足各种HPC需求。存储选项包括用于临时数据的高性能文件系统如FSx for Lustre和FSx for NetApp ONTAP，以及用于检查点、元数据和归档的持久性对象存储服务S3。对于紧密耦合的HPC工作负载，网络尤为重要，亚马逊云科技提供弹性纤维适配器（EFA）以实现所需的低延迟和超高吞吐量，例如最新GPU实例上的3.2太比特每秒的集群网络带宽。此外，如亚马逊云科技Batch、ParallelCluster和最近宣布的亚马逊云科技Research and Engineering Studio等作业协调服务帮助客户轻松安排和管理数十万次的HPC工作和资源。最后，如同Amazon WorkSpaces这样的可视化解决方案允许无缝传输图形密集型HPC模拟结果，而不是需要不断地在网络上传输大型数据集。 亚马逊云科技的持续创新得到了强调，特别是过去15-18个月内推出的五种专门针对高性能计算（HPC）工作负载设计的Amazon EC2实例类型。这些实例类型包括为紧密耦合的高性能计算应用提供高达60%性价比计算的优化实例C6a，以及提供成本效益的突发性能实例M6a。此外，还包括基于Arm的实例M6g和C6g，采用Graviton处理器为规模扩大的高性能计算工作负载提供最佳性价比。亚马逊云科技还与独立软件供应商等合作伙伴密切合作，以优化关键高性能计算应用在亚马逊云科技上的性能。" "来自Arm的Mark Galbraith上台分享了他们通过亚马逊云科技进行芯片设计工作的经历。他表示，Arm负责开发IP和软件，合作伙伴将其应用于从移动设备到云计算基础设施等各种芯片中。亚马逊云科技在其专为规模扩大的云计算工作负载优化的Graviton芯片中使用了Arm Neoverse处理器。" "Mark表示，将芯片设计工作转移到云端有三项主要优势。首先，它可以通过允许并行运行多个项目而无需竞争来提高灵活性，缩短开发周期。其次，它可以根据不同工作负载的需求匹配资源，例如为路由任务提供高内存实例。第三，它可以促进更容易的协作和创新。" "Mark解释说，芯片设计涉及到大量的模拟和验证，需要数百万至数亿CPU小时，这使得云成为了一个自然的选择。Arm使用容器化方法，如亚马逊云科技的CloudRunner，将本地高性能计算集群的工作负载爆发到亚马逊云科技的Batch服务中以按需访问额外的云资源。目前，Arm 73%的计算工作负载，每年超过2700亿CPU小时，已经在亚马逊云科技云上运行，大量利用了包括硬件和软件开发人员在内的各个团队中的低成本EC2 Spot实例。他们的亚马逊云科技基础设施完全自动化，使用工具如亚马逊云科技的CloudFormation。通过使用Graviton实例，Arm在芯片设计工作负载上相比先前的x86解决方案减少了67.6%的碳排放，并计划继续增加Graviton的使用以降低成本和提高可持续性。 在未来的某一天，Mark分享了他对Arm公司主要云计算战略的看法。根据他的描述，该公司计划将大部分芯片设计工作和数据原生的托管在亚马逊云科技平台上。这意味着他们将采用完全自动化的环境配置，并将亚马逊云科技的服务（例如用于Lustre的FSx）紧密地集成到他们的EDA工作流和工具中。Mark强调，亚马逊云科技的灵活性、可扩展性和广泛的高性能计算能力将有助于Arm公司通过采用云技术来提高生产力、降低成本并实现芯片设计的脱碳化。 随后，来自阿斯利康的Sean O'Dell谈到了生命科学领域的一些看法。作为基因组学研究中心的负责人，他的目标是利用DNA和基因组数据来改善疾病生物学理解并实现精确医学——基于患者遗传学的个性化预防和治疗。作为信息学部门的负责人，Sean关注的是构建自动化的管道，例如使用亚马逊云科技的服务（如亚马逊云科技Batch）来处理和分析大量的基因组数据。他希望这些管道能够将洞察结果迅速提供给研究人员，从而加速药物发现过程。 在阿斯利康，他们的基因组工作流程从获取参与者生物样本的同意开始，然后将这些样本的DNA序列解码成数字数据。这些原始序列数据通过在亚马逊云科技S3上托管的亚马逊云科技Batch等服务上运行的协调管道进行处理，提取、转换并将其加载到用于分析的基因组数据湖中。Sean强调，需要通过使用亚马逊云科技CodePipeline监控的自动化工作流程以标准化的方式处理样本，并将数据库中的数据方便地提供给全球的研究人员。 Sean提到，他们处理的数据量已经达到了“PB级别”。截至2022年，他们在亚马逊云科技S3和亚马逊云科技EFS上存储和处理了高达25 PB的基因组数据。他认为，亚马逊云科技的速度、可扩展性和全球覆盖是他们取得成功的关键因素。他们的核心架构依赖于亚马逊云科技的服务，如Batch、ParallelCluster、Step Functions、Aurora、DynamoDB和S3，以实现自动化和扩展基因组学管道。此外，他们还利用了像z1d这样的EC2实例类型来进行内存密集型的基因组组装和分析。 在成果方面，Sean解释道，他们基于亚马逊云科技的基因组平台已帮助识别具有潜力的药物靶点，并通过遗传学仅招募最有可能产生响应的参与者来优化临床试验定位。此外，他们还利用亚马逊云科技的资源向全球科学界公开发布数据集。他强调了能与亚马逊云科技的医疗和生命科学专家紧密合作的感激之情，并表示这种合作关系远远超出了技术层面的合作。 总的来说，Riva回顾了本次研讨会上所展示的在亚马逊云科技上实现创新的各种实际案例和使用场景，包括Arm的芯片设计工作流程和AstraZeneca的基因组学研究管道。她强调，客户在亚马逊云科技上成功运行高性能计算工作负载的关键在于其广泛的合作伙伴生态系统，这些合作伙伴提供了针对云的优化解决方案。Riva强调了亚马逊云科技在推进高性能计算能力方面的持续承诺，这从近年来推出的众多新服务和实例类型中可见一斑，这使得亚马逊云科技能够基于客户反馈连续六年被公认为顶级高性能计算云服务提供商。在结束这些陈述后，Riva感谢观众参加这次关于高性能计算在半导体和医疗保健领域变革性影响的有趣讲座。 **下面是一些演讲现场的精彩瞬间：** 亚马逊云科技的领导人与Arm和AstraZeneca的代表进行了会面。  通过采用Graviton服务器而非其他非Graviton技术，亚马逊云科技实现了高达67.6%的碳排放减少。  亚马逊云科技为客户提供经过预验证的IP单元和细胞库，帮助他们更快、更高效地打造定制芯片。  在讨论整个设计过程的不同计算需求时，领导人们关注了EDA工作负载的问题。  从短期的交互式任务到长期的多天批量任务，Graviton处理器的性能持续改善和成本节省得到了强调。  亚马逊云科技的领导者还强调了与系统集成（SI）合作伙伴密切合作的重要性，以便成功地将其服务部署到客户中。  ## 总结 视频探讨了诸如Arm和AstraZeneca等企业如何运用亚马逊云科技的云计算服务推动半导体和医疗领域的发展。亚马逊云科技提供高度灵活且可扩展的计算、存储、网络等功能，特别适用于如芯片设计和基因组学分析等计算密集型任务。 Arm公司利用亚马逊云科技进行芯片设计模拟，降低成本并减少碳排放。亚马逊云科技提供的功能如Spot Instances和基于Arm的Graviton处理器进一步提升了性能和效率。如今，Arm已将超过70%的工作负载迁移至云端，而亚马逊云科技成为其主要的云服务供应商。 AstraZeneca公司则借助亚马逊云科技对基因组数据进行大规模处理，以便迅速将数据提供给科研人员。他们可以利用亚马逊云科技提供的Batch和S3等服务处理海量数据集，从而更快速地发掘潜在价值。这包括寻找药物作用靶点和优化临床试验过程。AstraZeneca强调亚马逊云科技在基因组创新中不可或缺的人力与技术支持。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")