BMO 借助 Amazon ProServe 完成 1.5 PB 迁移和现代化之旅

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/PRO302-BMO_s_1_5_PB_migration___modernization_journey_with_AWS_ProServe-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 2023 年，BMO 收购了西部银行，这是迄今为止加拿大最大的金融机构收购案。在本论坛中，您将了解 BMO 如何与 Amazon Professional Services (ProServe) 合作，在 9 个月内将其 1.5 PB 数据平台迁移到亚马逊云科技，同时通过亚马逊云科技服务改造其数据和分析生态系统。探索如何使用 Amazon SCT、Amazon Snowball、Amazon Glue、Apache Airflow、Amazon Lambda、[Amazon EventBridge](https://aws.amazon.com/cn/eventbridge/?trk=cndc-detail)、[Amazon DynamoDB](https://aws.amazon.com/cn/dynamodb/?trk=cndc-detail) 和 [Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail) 自动执行迁移模式。深入探讨收购后的经验教训，深入了解资源调动、迁移准备、组织调整和交付最佳实践。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 从实时生产系统中提取数据，只能允许6小时的停机窗口。然而，初始的多线程提取导致了中断。 - 1.8PB数据量庞大且复杂，横跨四种不同的源数据仓库技术，包括Oracle、Teradata、Hadoop和SQL Server，涉及1300个模式和144,000个表。 - 每秒1Gbps的慢连接速度限制了在线迁移的可能性。 - 在收购批准之前，技术尽职调查的时间有限，规划从2022年2月开始。 经过一番彻底评估后，团队决定使用Snowball设备进行离线数据传输，运用亚马逊云科技的Schema Conversion Tool（SCT）进行数据提取，并采用亚马逊云科技Glue将数据注入云端。 团队利用亚马逊云科技提供的Snowball设备，该设备在压缩后能够存储高达100TB的数据。这使得他们能够在离线状态下传输庞大的1.8PB数据，因为使用1Gbps的网络连接完成数据迁移可能需要长达3年的时间。在选择了合适的工具后，他们开始构建可重复使用的框架以及围绕这些工具的自动化系统。亚马逊云科技的SCT解决方案提供了从各种数据来源（如Oracle、Teradata、Hadoop和SQL Server）提取数据的功能，并将其迁移到亚马逊云科技的异构数据迁移服务。团队使用亚马逊云科技命令行界面（CLI）而非用户界面来自动化SCT，并创建定制框架以协调和监控多个SCT代理的全天候数据提取过程。他们的主要目标包括：“不留下任何数据”－完整迁移1.8PB数据；全天候从源系统提取数据；以及每天处理整个100TB的Snowball设备。通过SCT和亚马逊云科技CLI驱动的自定义框架，团队实现了从四种不同的源数据仓库技术进行全天候自动数据提取。数据被存储在能容纳100TB数据的Snowball便携式硬盘驱动器中。摄入框架利用亚马逊云科技的Glue作业和Glue数据目录将数据输入到亚马逊S3中，然后有选择地将优先级数据移动到亚马逊Redshift集群中。亚马逊云科技Glue提供了自动扩展和平行数据摄入能力，以满足每天摄入100TB的目标。通过优化运行2500个并发Glue作业的性能，团队实现了每天摄入100TB的目标。此外，他们还构建了一个自定义负载均衡器，用于在子网之间分配Glue作业并最大化吞吐量。整个端到端的过程体现了精心规划和完美执行的理念。使用SCT的数据提取填充了Snowball设备，然后将其运输到入口S3存储桶中。在将数据移动到着陆桶之前，会进行安全扫描。接下来，摄入框架开始工作－加密敏感数据，转换格式，应用数据访问策略。最高优先级的数据显示到Redshift集群中以提供快速分析访问，而其他数据则保留在高效且成本效益高的S3存储中。这种Redshift-S3架构既支持高性能查询，又支持大规模的成本效益存储。 在整个过程中，BMO公司利用了亚马逊云科技的服务，如Glue数据目录和Lake Formation，以管理技术和业务元数据。这为公司提供了关于迁移数据的发现、治理和统一视图的深入了解。此外，团队还构建了[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)管道，并将SageMaker连接到Redshift，以便为高级分析使用场景准备1.8 PB的数据。通过与现有的BI工具（如Tableau）连接新建立的Redshift集群，业务用户可以轻松地获取访问权限。 借助亚马逊云科技的原生服务，BMO能够实施强大的数据安全措施，包括加密、执行细粒度访问策略，并简化自助访问配置。通过使用亚马逊云科技的身份提供者角色直接映射到Redshift角色，他们能够最小化对复杂自定义授权系统的需求。 在整个迁移过程中，BMO强调了精心规划和稳健的技术执行。团队注重采用一些早期的小但关键的步骤，包括建立一个涵盖BMO、Bank of the West和亚马逊云科技公司的跨职能“一个团队”的思维方式；选择合适的工具进行数据传输、提取和摄入；以及构建可重用的框架以自动化关键过程。这些谨慎的方法得到了回报，因为BMO不仅能够快速地将1.8 PB的数据迁移到云端，而且还为未来的迁移奠定了基础。提取、摄入和访问控制的自动化框架可以在多个项目中重复使用。 与亚马逊云科技专业服务部的合作伙伴关系同样至关重要，因为他们提供了执行如此大规模和复杂程度的迁移所需的专业知识。从规划到执行，这是一个专注于无缝过渡到云端的协作努力。对于BMO来说，完成这个基础迁移为他们打开了云之旅的下一个阶段。现在，银行可以利用亚马逊云科技的敏捷性、可扩展性和多样性来快速创新。基于已经迁移的数据湖，他们可以更快地向业务用户提供可操作的见解，从而提供更优质的客户体验。 这个PB级迁移的成功为其他计划将大量数据迁移到云的组织提供了一个蓝图。尽管每个情况都是独特的，但BMO采用的结构化方法突出了可以更广泛应用的最佳实践。 培养一个由业务、IT和云计算专家组成的跨职能合作团队。 - 评估所需的功能，选择最佳的工具并建立围绕它们的自动化系统。 - 为数据迁移设定明确的目标和成功标准。 - 有条不紊地采取措施，在项目的早期阶段奠定正确的基础。 - 利用云服务提供商的专业知识和经验，而不是重复他们的工作。 - 创建可重复使用的框架，以便在未来加速迁移过程。 对BMO而言，这次数据迁移是他们在云计算领域的一次重要里程碑。如今，该行能够充分利用亚马逊云科技的多样性，迅速实现数据驱动的创新，以实现其大胆的增长目标和美好的企业愿景。 **下面是一些演讲现场的精彩瞬间：** 领导者强调，由于项目的复杂性，首次尝试成功执行项目至关重要。  亚马逊云科技的领导者分享了他们如何运用阶段式波动计划和雪球策略，实现大规模数据的高效迁移。  亚马逊云科技采用雪球技术，确保大量数据安全地传输至亚马逊云科技，然后利用诸如S3、Glue和KMS等服务进行处理，以便进行分析。  演讲者还探讨了如何将Airflow工作流迁移至亚马逊MWAA的过程中，降低高CPU使用率的优化方法。  在re:Invent上，亚马逊云科技展示了如何通过重用并完善迁移功能，以及利用亚马逊云科技Data Share进行合适的数据治理，从而帮助客户加速其云计算进程。  ## 总结 BMO已经收购了Bank of the West，现在需要将1.8PB的数据从内部系统迁移到亚马逊云科技。为了完成这个复杂的过程，他们已经与亚马逊云科技的ProServe专业服务团队展开了紧密合作。 首先，他们需要对源系统进行清查，以了解其元数据。接下来，他们会利用亚马逊云科技的SCT分类表格，以提高数据提取的效率。在这个过程中，一个协调员会全天候地将数据提取到Snowballs中。在接收环节，他们建立了一个工厂式的框架，用于将数据转换为格式并将其加载到S3和Redshift中。为了应对2500个并发任务，他们还设计了一个定制的负载均衡器，以实现每天100TB的接收速度。在整个过程中，数据安全始终是他们关注的重点，他们对敏感数据进行加密处理。同时，他们还在支持自助服务访问的基础上，实施了严格的精细控制。 通过这次迁移，BMO的云进程得到了加速。他们已经开始重用之前的框架，以接收更多的数据。银行与亚马逊云科技之间的紧密合作、选择合适的工具、建立自动化流程以及设定明确的目标，都是此次成功迁移的关键因素。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")