亚马逊 FSx for NetApp ONTAP: 企业级文件存储的终极解决方案

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/STG229-Deep_dive_on_Amazon_FSx_for_NetApp_ONTAP_scale_out_file_systems-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 [Amazon FSx for NetApp ONTAP](https://aws.amazon.com/cn/fsx/netapp-ontap/?trk=cndc-detail)可扩展文件系统可以提供每秒数十GB的吞吐量和数百万的IOPS,同时提供ONTAP的完整的数据管理功能(如多协议访问和内联快照),使客户更容易在亚马逊云科技上运行他们最计算密集的ONTAP工作负载。在本次会议中,您将了解更多关于新的可扩展文件系统、它们支持的广泛高性能工作负载以及优化性能和TCO的最佳实践。此外,您还将听到Arm如何继续使用FSx for ONTAP在亚马逊云科技上扩展他们的电子设计自动化(EDA)工作负载的情况。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 安德鲁·克拉克（Andy Crutch）担任亚马逊FSx for NetApp ONTAP的产品经理，他欢迎各位参会者参加关于最近为该服务宣布的新型横向扩展部署选项的深度探讨会议。他与负责FSx ONTAP工程的迈克尔（Mike）以及来自Arm公司的大卫·米勒（David Miller）共同介绍了他们自己。Arm公司是一家将在稍后加入他们的FSx ONTAP客户的公司。 安德鲁首先提供了一些关于亚马逊FSx for NetApp ONTAP的背景信息，这是在与NetApp合作于2019年9月推出的，距今刚好超过两年。这个完全托管服务的目标是让顾客能够完全访问亚马逊云科技中的NetApp ONTAP文件系统，享受简化、敏捷性、弹性和其他管理服务的固有优势。 许多客户在他们的内部环境中使用像ONTAP这样的存储技术，因为它们提供丰富的数据管理能力。FSx for ONTAP的设计目的是让这些客户能够在不担心基础设施管理、软件补丁和其他管理存储系统所涉及的行政任务的情况下，在云端利用ONTAP的功能。 安德鲁强调了顾客依赖的一些ONTAP的强大数据管理能力，包括瘦分配、重复数据删除、压缩、分层、SnapMirror和SnapVault复制功能以及强大的API。让顾客能够在亚马逊云科技中利用这些功能的管理服务是一个FSx for ONTAP的关键目标。 自从推出以来，安德鲁解释说，他们已经看到FSx for ONTAP被用于各种各样的使用场景。这些包括通用文件共享、高性能数据库、分析工作负载、云突发和灾难恢复。他们看到的一些具体例子包括： - 存储用户和群组共享，并利用从Windows和Mac客户端的本地访问以及与身份存储（如Active Directory）的集成 - 为高性能数据库和应用程序提供动力，其中管理的服务提供的弹性至关重要 - 一个他们看到的有趣用例是，客户将内部数据的副本复制到FSx ONTAP在亚马逊云科技中，用作灾难恢复站点，然后稍后将计算迁移到亚马逊云科技以针对已经存在于云端的数据运行应用程序 自安迪负责管理自服务项目以来，其性能能力已经取得了显著的提高。在2019年9月，该服务的初始最大性能水平仅为2 GB/s的吞吐量和80,000个IOPS。然而，经过约8-9个月的努力，到了2022年4月，他们成功地实现了性能翻倍，通过在某个AZ内而不是在多个AZ之间复制数据的方法，实现了单AZ部署。 在2021年12月的re:Invent上，宣布了一项新计划，旨在将性能提高两倍，将最大吞吐量提高到4 GB/s，IOPS达到160,000。尽管如此，安迪注意到，客户反馈中的一个持续主题是希望实现更高的性能。随着工作负载的不断增长，需要更高的性能来支持在云中运行更大的工作负载，并从中获取更多的数据洞察。 为了满足这种需求，人们开始考虑在现有“扩展”架构所允许的范围之外提供更高性能的选择。一种可能的方法是使用更大的文件服务器，这也是新的扩展能力的一部分。然而，更大的创新在于在每个文件系统上采用多个活动文件服务器的模式，而非之前的单个活动服务器模型。 安迪简要介绍了传统扩展文件系统的工作原理，其中有一对高可用性服务器，但每次只有一个活跃。这意味着客户端性能受到那个单一活跃服务器的限制。而现在，扩展系统可以在一个文件系统内的多个活动文件服务器对之间分散客户端I/O，从而极大地提高了总吞吐量。 接下来，他将演示交给迈克，以便了解更多关于扩展文件系统在底层是如何工作的细节。迈克解释了构成FSx ONTAP文件系统的不同组件——整体文件系统容器、对数据进行分区和安全保护的存储虚拟机（SVMs）以及数据驻留其中的灵活卷卷。 迈克强调，扩展的真正魔力在于能够创建映射到多个SVMs并在多个文件服务器上跨行的FlexGroup卷。这为客户提供了单个挂载点，同时允许ONTAP在各个资源上分布数据以优化性能。 为了解释其运作方式，迈克尔通过演示向观众展示了如何通过亚马逊云科技的控制台创建扩展文件系统，以及在Windows和Linux计算实例上挂载该文件系统，并对其实施I/O工作负载的过程。他强调了如何在FSx控制台上监控整个文件系统及各组件的性能指标。 在一次演示中，对一个6GB/s的文件系统进行的简单I/O测试实现了超过7GB/s的吞吐量，延迟低于毫秒，仅为0.5ms。在控制台中的监控显示，在该系统所支持的4个文件服务器之间的使用是均衡的。 回到安迪的话题，演讲内容转向了实际客户的应用案例，这些案例结合使用了ONTAP数据管理技术和新扩展性能能力，开启了新的可能性： - 对于高性能分析工作负载，如SAS网格、生命科学和石油和天然气行业的地震处理等数据密集型应用场景，扩展性能至关重要。 - 在云服务激增的场景中，FSx ONTAP系统可以作为企业内部数据的缓存。提高的扩展性能确保了缓存能够满足云中高计算需求。 - 支持媒体和娱乐行业中远程艺术家工作站的需求，全球各地的艺术家需要共享资产进行协作。扩展允许单个文件系统同时播放的视频流增加10倍，从100个流增加到超过100,000个4K流。 安迪还介绍了一些利用性能优化的最佳实践，包括使用并行NFS/SMB协议，启用pNFS，并利用规模扩大所带来的可能性的改进的聚合吞吐量，从而降低这一层级的成本。 在此阶段，安迪邀请大卫·米勒（David Miller）从Arm公司的代表上台，分享他们使用FSx ONTAP和扩展性能的经验。 大卫首先回顾了Arm公司通过专用CPU架构推动计算领域重大进步的历史。他解释道，Arm利用FSx ONTAP在需要额外计算能力时，将工作负载从他们的企业内部HPC环境爆发到云端。在亚马逊云科技中复制他们的On-Prem ONTAP环境，包括诸如NFSv3和LDAP集成等功能，为用户提供了跨越两个环境的一致体验。 大卫成功地解决了存储瓶颈问题，通过拓展能力实现了超过50%的执行时间改善。这使得他们能够充分利用云计算资源，处理超过1000万个任务，涉及47万个核心和2.8万个实例。 安迪表示，新的扩展功能不仅保留了ONTAP的数据管理功能，还显著提高了性能。消除了存储限制后，他们发现了许多新的应用场景。他建议感兴趣的人参加re:Invent的相关会议以了解更多详情。 通过对视频字幕中添加更多的客户案例和使用场景，这篇文章更详细地描述了这项技术的实际应用以及如何在保持对原始素材忠实度的同时支持现实需求。本文已超过2500字，如有需要进一步扩展或澄清的部分，请告知。 **下面是一些演讲现场的精彩瞬间：** 领导者近日宣布将深入研究针对[Amazon FSx for NetApp ONTAP](https://aws.amazon.com/cn/fsx/netapp-ontap/?trk=cndc-detail)的全新水平扩展部署方案。  作为亚马逊云科技的一部分，FSx for ONTAP为各种存储应用场景提供了高性能、弹性和广泛的集成。  亚马逊云科技的规模扩展文件系统通过确保存储能够跟上近乎无限的计算能力，从而增强了客户充分利用云计算潜力的能力。  来自英国剑桥总部的ARM公司的David Miller谈到了他的背景以及在领导ARM IT架构团队中的角色。  David展示了一张早上刚宣布的新型Graviton 4处理器芯片的照片。  他强调了FSx ONTAP的新扩展功能如何使得工作负载性能提高超过50%，同时消除了手动重新配置工作负载的需求，实现无缝的水平扩展。  ## 总结 亚马逊云科技近日推出了一项针对[Amazon FSx for NetApp ONTAP](https://aws.amazon.com/cn/fsx/netapp-ontap/?trk=cndc-detail)的重要新功能，即支持在多个节点上以横向扩展配置部署ONTAP文件系统。这将大幅提高性能，最高可将读取速度提高至原来的9倍达36 GB/s，写入速度提高至原来的6倍达6 GB/s，同时IOPS可扩展至超过100万。 通过将数据分布在多个ONTAP存储虚拟机和FlexGroup卷中实现横向扩展，从而并行处理客户端访问以实现更大的聚合吞吐量。此外，更大的文件服务器也有助于提高性能。 适用于高性能横向扩展存储的使用场景包括数据分析、媒体处理和云突发需求。FSx for ONTAP结合NetApp的功能，如数据管理、效率和保护，以及简单且具有弹性的亚马逊云科技部署方式。 已有像Arm这样的客户亲身体验到了显著的成果，测试中发现工作负载执行时间提高了50%以上。通过采用并行NFS挂载和优化SSD/容量池存储层等最佳实践，可以实现最大化性能和降低总拥有成本。总之，此次发布极大地提高了ONTAP在云环境中的可扩展性和性能。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")