自动迁移 20 万亿字节文件服务器

云计算
re:Invent
0
0
## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/COM303-Automating_a_20_TB_file_server_migration-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 了解 Amazon Community Hero Dave Stauffacher 如何在仅停机 2 小时的情况下,将包含 10 亿多个文件的 20 TB 文件系统迁移到 [Amazon FSx for Windows File Server](https://aws.amazon.com/cn/fsx/windows/?trk=cndc-detail)。了解 Dave 如何使用 Amazon DataSync、Terraform 和一些命令行魔法实现流程自动化,以及在迁移过程中吸取到的宝贵经验。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华,共700字,阅读时间大约是4分钟。如果您想进一步了解演讲内容或者观看演讲全文,请观看演讲完整视频或者下面的演讲原文。</font> 戴夫·斯塔彻(Dave Stacher)是威斯康星州米尔瓦基市Direct Supply公司的首席平台工程师。他介绍了他的团队正在进行的一个雄心勃勃的项目,该项目将一个包含超过15亿文件的大型20 TB企业文件服务器迁移到[Amazon FSx for Windows File Server](https://aws.amazon.com/cn/fsx/windows/?trk=cndc-detail)。这个高度复杂的迁移项目利用了亚马逊云科技的数据同步功能,将大量数据从他们的内部环境复制到云端。 斯塔彻拥有超过20年的企业管理存储和数据保护经验。他见证了容量需求的巨大增长。在2003年,当他部署他的第一个SAN时,它只有4 TB。到了2016年,当Direct Supply开始有计划地将工作负载迁移到亚马逊云科技时,他们的总磁盘空间已经增长到惊人的1.2 PB,这在13年内增长了30,000%。 Direct Supply公司认识到云的好处,他们从2017年开始正式执行迁移计划。最终在2019年通过一次8小时的切换活动,将他们95%的基础设施迁移完毕。这包括将他们一半的用户计算栈转移到WorkSpaces,以提供针对时间敏感应用程序的低延迟访问。 原计划迁移的企业文件服务器包含了大量敏感数据,包括PCI和无意中涉及的HIPAA信息。这需要严格的加密控制、详细的审计记录和高可用性。在2019年,亚马逊云科技基于Windows的文件存储选项相当有限。当时最好的选择是一个第三方解决方案,虽然可以使用,但有一些与高可用性和故障转移相关的问题。Amazon Web Services FSx for Windows仍处于开发阶段,尚未准备好用于像Direct Supply这样的生产使用场景。因此,这个第三方解决方案被作为临时措施部署。 在2019年至2022年期间,随着Direct Supply为即将到来的迁移做准备,数据量继续显著增长。文件服务器从14 TB和10亿文件增加到20 TB和15亿文件——容量增加了50%。然而,最具挑战性的是大多数文件都是小的应用程序生成的文件。实际上,最终用户生成的内容只占文件总数的2%。对于像Amazon Web Services Data Sync这样的文件级迁移工具来说,这些类型的文件分布可能会影响高效地确定差异并同步更改的效率。 随着FSx for Windows功能的逐步完善,该服务已经取得了一些重要的成就,如与主流Windows环境兼容的Active Directory集成。到2022年,FSx已经具备了支持其文件存储工作负载所需的所有功能,包括加密、审计日志记录以及与SIEM系统的集成。 Direct Supply要求所有亚马逊云科技基础设施都必须通过Terraform经过审核的合规管道进行部署。为了实现这一目标,他们开发了一系列Terraform模块,用于部署、配置FSx本身以及Data Sync任务和代理。这些模块还包含了回滚任务,提供了一种自动化的灾难恢复机制。最初,FSx文件系统采用了较低成本的旋转磁盘存储,以降低成本。通过迁移到具有旋转磁盘的FSx,他们预计可以将每月的运行费用从35,000美元降低到约1,000美元,从而实现巨大的成本节省。 回顾过去,Stacher承认他们的早期时间表预测过于乐观。他们从一个小规模开始,只有4个Data Sync代理和8个指向固态FSx文件系统的任务。然而,在经过11个月的稳定改进后,他们已经系统地扩展到了超过50个代理和150个任务,完成了这一艰巨的迁移任务。一些任务需要几周时间来运行初始副本。 为了帮助管理大规模的迁移,他们构建了一个工具来解析Terraform计划,以便快速验证挂起的更改。另一个工具则跟踪Data Sync运行时间、失败和代理分配,为150个任务的性能和资源利用率提供了宝贵的可见性。 总的来说,Direct Supply成功地完成了一项复杂的迁移任务,即将一个包含15亿文件、超过20兆字节的主要Windows文件服务器迁移到FSx for Windows。通过广泛的应用自动化和专为此目的设计的工具,他们在将近一年的时间里有组织地协调了这一庞大的数据迁移过程。 **下面是一些演讲现场的精彩瞬间:** 在2019年,FSx for Windows File Server被引入,相较于自建解决方案、使用基于S3的市场解决方案或使用依赖EBS卷和路由表更新的解决方案,它为基于云的文件存储提供了更优的选项。 ![](https://d1trpeugzwbig5.cloudfront.net/COM303-Automating_a_20_TB_file_server_migration/images/rebranded/COM303-Automating_a_20_TB_file_server_migration_0.png) 据演讲者介绍,FSx for Windows已成为他们医疗保健公司的敏感数据存储需求的临时最佳解决方案。 ![](https://d1trpeugzwbig5.cloudfront.net/COM303-Automating_a_20_TB_file_server_migration/images/rebranded/COM303-Automating_a_20_TB_file_server_migration_1.png) 该公司需要迁移的15亿个文件中,大部分是由微型应用程序生成的文件,这在不同文件系统之间进行文件级迁移时构成了一个挑战。 ![](https://d1trpeugzwbig5.cloudfront.net/COM303-Automating_a_20_TB_file_server_migration/images/rebranded/COM303-Automating_a_20_TB_file_server_migration_2.png) 为了降低成本,团队将自管理的NAS迁移到旋转磁盘上的FSx,从而将每月成本从35,000美元降低到1,000美元。 ![](https://d1trpeugzwbig5.cloudfront.net/COM303-Automating_a_20_TB_file_server_migration/images/rebranded/COM303-Automating_a_20_TB_file_server_migration_3.png) 起初,团队从小规模开展,仅有4个代理和8个数据同步任务,但随着时间的推移,他们不得不扩大规模,处理大量的数据,超过了100个任务和50个代理。 ![](https://d1trpeugzwbig5.cloudfront.net/COM303-Automating_a_20_TB_file_server_migration/images/rebranded/COM303-Automating_a_20_TB_file_server_migration_4.png) 领导层强调,要使用亚马逊云科技Data Sync扩展到100多个任务并固定任务运行历史记录,以避免在大量输出中丢失错误和状态。 ![](https://d1trpeugzwbig5.cloudfront.net/COM303-Automating_a_20_TB_file_server_migration/images/rebranded/COM303-Automating_a_20_TB_file_server_migration_5.png) ## 总结 戴夫·斯塔彻(Dave Stacher)担任Direct Supply公司的首席平台工程师。在这次演讲中,他详细描述了公司如何使用亚马逊云科技Data Sync服务将一个包含20TB敏感医疗数据的企业文件服务器迁移到[Amazon FSx for Windows File Server](https://aws.amazon.com/cn/fsx/windows/?trk=cndc-detail)的过程。这个文件服务器包含了15亿个非常小的文件。最初的目的是通过使用具有低吞吐量的旋转磁盘上的FSx来降低成本。然而,在仅使用少数几个Data Sync代理和任务进行初始迁移时,这导致了主要的瓶颈。 在经过11个月的迭代和改进迁移的自动化和监控之后,他们最终使用了150个Data Sync任务和50个代理来完成20TB、15亿文件的迁移。他们还创建了自定义工具来解析Terraform计划、跟踪Data Sync任务的运行时间和监控大量任务中的错误。 最后,他们通过广泛的自动化和监控,仅在2小时的停机时间内完成了这一高度复杂的迁移。这个项目通过利用亚马逊云科技服务和用于自动化的自定义工具、错误处理和可见性,展示了如何大规模迁移有问题的遗留数据。 ## 演讲原文 ## 想了解更多精彩完整内容吗?立即访问re:Invent 官网中文网站! [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处"),一键获取亚马逊云科技全球最新产品/服务资讯! [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处"),一键获取亚马逊云科技中国区最新产品/服务资讯! ## 即刻注册亚马逊云科技账户,开启云端之旅! [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")
目录
亚马逊云科技解决方案 基于行业客户应用场景及技术领域的解决方案
联系亚马逊云科技专家
亚马逊云科技解决方案
基于行业客户应用场景及技术领域的解决方案
联系专家
0
目录
关闭