自动迁移 20 万亿字节文件服务器

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/COM303-Automating_a_20_TB_file_server_migration-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 了解 Amazon Community Hero Dave Stauffacher 如何在仅停机 2 小时的情况下，将包含 10 亿多个文件的 20 TB 文件系统迁移到 [Amazon FSx for Windows File Server](https://aws.amazon.com/cn/fsx/windows/?trk=cndc-detail)。了解 Dave 如何使用 Amazon DataSync、Terraform 和一些命令行魔法实现流程自动化，以及在迁移过程中吸取到的宝贵经验。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共700字，阅读时间大约是4分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 戴夫·斯塔彻（Dave Stacher）是威斯康星州米尔瓦基市Direct Supply公司的首席平台工程师。他介绍了他的团队正在进行的一个雄心勃勃的项目，该项目将一个包含超过15亿文件的大型20 TB企业文件服务器迁移到[Amazon FSx for Windows File Server](https://aws.amazon.com/cn/fsx/windows/?trk=cndc-detail)。这个高度复杂的迁移项目利用了亚马逊云科技的数据同步功能，将大量数据从他们的内部环境复制到云端。 斯塔彻拥有超过20年的企业管理存储和数据保护经验。他见证了容量需求的巨大增长。在2003年，当他部署他的第一个SAN时，它只有4 TB。到了2016年，当Direct Supply开始有计划地将工作负载迁移到亚马逊云科技时，他们的总磁盘空间已经增长到惊人的1.2 PB，这在13年内增长了30,000%。 Direct Supply公司认识到云的好处，他们从2017年开始正式执行迁移计划。最终在2019年通过一次8小时的切换活动，将他们95%的基础设施迁移完毕。这包括将他们一半的用户计算栈转移到WorkSpaces，以提供针对时间敏感应用程序的低延迟访问。 原计划迁移的企业文件服务器包含了大量敏感数据，包括PCI和无意中涉及的HIPAA信息。这需要严格的加密控制、详细的审计记录和高可用性。在2019年，亚马逊云科技基于Windows的文件存储选项相当有限。当时最好的选择是一个第三方解决方案，虽然可以使用，但有一些与高可用性和故障转移相关的问题。Amazon Web Services FSx for Windows仍处于开发阶段，尚未准备好用于像Direct Supply这样的生产使用场景。因此，这个第三方解决方案被作为临时措施部署。 在2019年至2022年期间，随着Direct Supply为即将到来的迁移做准备，数据量继续显著增长。文件服务器从14 TB和10亿文件增加到20 TB和15亿文件——容量增加了50%。然而，最具挑战性的是大多数文件都是小的应用程序生成的文件。实际上，最终用户生成的内容只占文件总数的2%。对于像Amazon Web Services Data Sync这样的文件级迁移工具来说，这些类型的文件分布可能会影响高效地确定差异并同步更改的效率。 随着FSx for Windows功能的逐步完善，该服务已经取得了一些重要的成就，如与主流Windows环境兼容的Active Directory集成。到2022年，FSx已经具备了支持其文件存储工作负载所需的所有功能，包括加密、审计日志记录以及与SIEM系统的集成。 Direct Supply要求所有亚马逊云科技基础设施都必须通过Terraform经过审核的合规管道进行部署。为了实现这一目标，他们开发了一系列Terraform模块，用于部署、配置FSx本身以及Data Sync任务和代理。这些模块还包含了回滚任务，提供了一种自动化的灾难恢复机制。最初，FSx文件系统采用了较低成本的旋转磁盘存储，以降低成本。通过迁移到具有旋转磁盘的FSx，他们预计可以将每月的运行费用从35,000美元降低到约1,000美元，从而实现巨大的成本节省。 回顾过去，Stacher承认他们的早期时间表预测过于乐观。他们从一个小规模开始，只有4个Data Sync代理和8个指向固态FSx文件系统的任务。然而，在经过11个月的稳定改进后，他们已经系统地扩展到了超过50个代理和150个任务，完成了这一艰巨的迁移任务。一些任务需要几周时间来运行初始副本。 为了帮助管理大规模的迁移，他们构建了一个工具来解析Terraform计划，以便快速验证挂起的更改。另一个工具则跟踪Data Sync运行时间、失败和代理分配，为150个任务的性能和资源利用率提供了宝贵的可见性。 总的来说，Direct Supply成功地完成了一项复杂的迁移任务，即将一个包含15亿文件、超过20兆字节的主要Windows文件服务器迁移到FSx for Windows。通过广泛的应用自动化和专为此目的设计的工具，他们在将近一年的时间里有组织地协调了这一庞大的数据迁移过程。 **下面是一些演讲现场的精彩瞬间：** 在2019年，FSx for Windows File Server被引入，相较于自建解决方案、使用基于S3的市场解决方案或使用依赖EBS卷和路由表更新的解决方案，它为基于云的文件存储提供了更优的选项。  据演讲者介绍，FSx for Windows已成为他们医疗保健公司的敏感数据存储需求的临时最佳解决方案。  该公司需要迁移的15亿个文件中，大部分是由微型应用程序生成的文件，这在不同文件系统之间进行文件级迁移时构成了一个挑战。  为了降低成本，团队将自管理的NAS迁移到旋转磁盘上的FSx，从而将每月成本从35,000美元降低到1,000美元。  起初，团队从小规模开展，仅有4个代理和8个数据同步任务，但随着时间的推移，他们不得不扩大规模，处理大量的数据，超过了100个任务和50个代理。  领导层强调，要使用亚马逊云科技Data Sync扩展到100多个任务并固定任务运行历史记录，以避免在大量输出中丢失错误和状态。  ## 总结 戴夫·斯塔彻（Dave Stacher）担任Direct Supply公司的首席平台工程师。在这次演讲中，他详细描述了公司如何使用亚马逊云科技Data Sync服务将一个包含20TB敏感医疗数据的企业文件服务器迁移到[Amazon FSx for Windows File Server](https://aws.amazon.com/cn/fsx/windows/?trk=cndc-detail)的过程。这个文件服务器包含了15亿个非常小的文件。最初的目的是通过使用具有低吞吐量的旋转磁盘上的FSx来降低成本。然而，在仅使用少数几个Data Sync代理和任务进行初始迁移时，这导致了主要的瓶颈。 在经过11个月的迭代和改进迁移的自动化和监控之后，他们最终使用了150个Data Sync任务和50个代理来完成20TB、15亿文件的迁移。他们还创建了自定义工具来解析Terraform计划、跟踪Data Sync任务的运行时间和监控大量任务中的错误。 最后，他们通过广泛的自动化和监控，仅在2小时的停机时间内完成了这一高度复杂的迁移。这个项目通过利用亚马逊云科技服务和用于自动化的自定义工具、错误处理和可见性，展示了如何大规模迁移有问题的遗留数据。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")