深入研究不同的 Amazon DMS 迁移选项

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/DAT328-Dive_deep_into_different_AWS_DMS_migration_options-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 Amazon DMS 提供逻辑复制、托管的本地导出、导入和复制，以及用于迁移和复制数据的批量提取和加载选项。参加本次讲座，深入探讨各种选项，并了解每种选项的工作原理、优势、性能考虑因素，以及如何使用 Serverless 技术、自动扩展和模式转换等新功能简化迁移过程。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1700字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 作为亚马逊云科技数据库迁移服务（DMS）产品的领军人物，约翰欢迎观众参加一个深入探讨DMS所提供的各种迁移选项的会议。他表示，该会议的目的是为DMS的架构和功能提供技术概述，以帮助与会者顺利展开自己的迁移项目。 在会议上，约翰将数据迁移比喻成非洲草原上动物的大迁徙。虽然规模可能不如前者庞大，但数据迁移同样充满了挑战。然而，亚马逊云科技致力于通过简单的“一键式”操作尽可能地简化迁移过程。 约翰强调，尽管名为迁移服务，但实际上DMS是基于复制技术的。他还分享了一个关于DMS早期阶段的有趣故事。在推出该服务时，团队原本打算将其命名为数据库复制服务，以准确地反映其复制能力。然而，当时的亚马逊云科技领导层，包括安迪·贾西，更倾向于采用数据库迁移服务的名称，以推动向云的迁移。因此，尽管DMS本质上是一种复制服务，但为了与亚马逊云科技的云迁移理念保持一致，他们最终还是选择了DMS这个名称。 在简要介绍了DMS的应用情况后，约翰指出，DMS已经成功协助进行了超过100万次数据库迁移，涵盖了各行各业、不同垂直领域，以及公有和私有部门。为了展示DMS在大规模迁移中的强大能力，他指出亚马逊自己在2019年将7,500多个Oracle数据库，共计超过75亿字节的数据迁移到亚马逊云科技的过程中，就是依靠DMS来完成这一壮举的。 约翰解释道，亚马逊的零售业务和亚马逊云科技的服务最初是完全分开运营的，各自使用自己的数据中心。然而，随着时间的推移，这种分离不再具有实际意义，因此在2019年，亚马逊彻底迁移到了亚马逊云科技。这次巨大的内部迁移工程涉及到将超过7,500个Oracle数据库，总计超过75亿字节的数据迁移到亚马逊云科技。约翰强调，即使像亚马逊这样大规模的迁移都能成功完成，这表明DMS完全可以应对其他客户面临的最为复杂的迁移场景。 亚马逊云科技提供了一系列工具和服务，以协助用户完成迁移过程。这包括但不限于提供技术支持的方案架构师、具备迁移经验的专业合作伙伴、实际操作指导的专业服务、免费咨询的DMS顾问以及财务激励或培训计划等。为了实现这一目标，亚马逊云科技致力于为客户提供一个全面的迁移解决方案。 在进行任何成功迁移之前，首先需要充分了解现有环境。为此，DMS提供了一项名为Fleet Advisor的功能。Fleet Advisor专为大型数据库集群而设计，可在内部安装收集器，与LDAP服务器和数据库实例连接以收集元数据。它会收集关于基础设施规模、使用模式和许可详细信息等信息。 据约翰介绍，Fleet Advisor收集器是一个轻量级的内部安装代理，能够连接到LDAP服务器以获取数据库服务器列表，并尝试连接每个服务器以收集元数据和统计信息。收集的数据包括主机名、端口、数据库名、使用指标和许可信息等。 Fleet Advisor会将收集到的数据上传至客户账户内的亚马逊S3存储桶，用户可在分析前查看这些数据。随后，这些信息将被加载到DMS的Fleet Advisor服务中进行分析。 Fleet Advisor会根据每个数据库的使用模式和特点提供迁移建议。例如，它可以识别需要升级的已过时或不受支持的数据库版本。此外，它还可以建议将某些数据库迁移到亚马逊RDS，并提供合适的实例规模。一个显著的优势是，这些建议还包含了在亚马逊云科技上运行每个数据库的预估成本。 由于Fleet Advisor源于监控工具，因此它能够持续收集月度使用波动期间的元数据，从而允许随着时间的推移对其迁移建议进行调整。 在完成当前数据库的确认工作后，可能需要进行一种数据库类型向另一种的转换，例如从Oracle到[Amazon Aurora](https://aws.amazon.com/cn/rds/aurora/?trk=cndc-detail)。据John介绍，有两种实现这些模式转换的方法——DMS模式转换和[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)亚马逊云科技模式转换工具（SCT）。他对比了各种方法的优缺点。虽然DMS模式转换已直接集成到DMS服务中，它是[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)并且免费的，但SCT是一个桌面工具，支持更广泛的转换场景。两者都能自动处理大部分模式转换，使得客户无需进行繁琐的手动操作。 详细来说，John还图解了DMS模式转换的工作原理。该服务会遍历数据库对象，将源代码解析成抽象源树，解决任何冲突，转换代码，生成目标抽象源树，并输出SQL代码或直接应用于目标数据库。John解释了这种基于规则的自动化如何能转换大约80-90%的模式对象，从而减少所需的手动工作量。 在进行模式转换后，数据迁移过程将进入下一个阶段，即数据移动。John介绍了在DMS中进行数据迁移的三个主要选项： 1.逻辑复制实例－这个选项在EC2实例上运行DMS，使用复制引擎提取数据来源，对其进行转换并将其加载到目标中。这个实例不会长期存储任何数据。由亚马逊云科技管理EC2基础设施，而客户控制数据库连接和安全。 2.[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)－[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)选项会根据来源和目标的负载来自动调整底层复制资源的上下行。这避免了手动选择和管理工作负载所需的EC2实例类型的需要。客户只需指定最小和最大阈值以控制成本和性能。 3.同构迁移－对于相同数据库类型之间的像到像迁移，DMS可以协调原生数据库复制工具。这样可以避免使用DMS复制引擎的开销。DMS会处理原生工具的自动化和管理。 关于[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)架构的更详细介绍，John解释了DMS如何运行初始查询以确定适合复制任务的合适资源。然后，它使用配置服务来根据客户的最低和最大阈值部署适当大小的复制实例。 在整个迁移过程中，[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)模式会密切关注CPU和内存的使用情况，并在需要时每小时扩展底层实例一次。为了防止过度活跃的波动效应，它会逐渐地将实例大小每两小时缩小一次。客户无需担忧这种自动化方法中的实例大小问题。 随后，约翰将演讲交给了瑞安，他是亚马逊云科技技术社区的领导者。瑞安进行现场演示，展示了如何使用DMS进行同构迁移。 瑞安通过DMS管理控制台展示如何配置数据提供者、实例概要文件以及设置迁移项目的整个过程。接着，他对一个从EC2到[Amazon RDS](https://aws.amazon.com/cn/rds/?trk=cndc-detail)的12GB Postgres数据库进行了迁移，迁移了两个各约6GB的数据表。 在切换过程中，瑞安强调了源数据库上的负载最小化问题。他展示了Postgres活动查询，表明DMS仅使用了少量的CPU和I/O资源。瑞安还指出，由于采用流式传输数据而非文件复制，因此场所消耗的存储量非常小——总共只有168 KB。 在目标RDS端，瑞安检查了数据验证并监控了CloudWatch中的性能。他强调，迁移主要是在RDS中执行大量写入操作。总体而言，这个演示提供了平滑的端到端示例，展示了DMS同构迁移的过程。 回到他的演示幻灯片，瑞安讨论了一些在进行迁移之前可以进行的可能性问题检测的预迁移评估。他还分享了一个真实案例，客户在使用DMS的预迁移评估后发现他们可以在开始迁移项目之前关闭三分之一的数据库。这一评估还有助于他们识别被遗忘的第三方数据中心，说明了它可以揭示未知信息。 瑞安还介绍了DMS的数据验证功能，该功能在迁移过程中和之后比较源和目标数据以确保准确性。他指出，这不仅可用于数据库，还可以用于[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)存储桶。 谈到成功迁移的关键考虑因素时，瑞安分享了常见的挑战和建议： - 实例大小 - 谨慎监控内存使用情况和交换空间。适当地扩大规模以避免尺寸不足。 - 功能 - 在开始之前确认DMS支持所需的源数据库版本和功能。 网络带宽——用于处理大量数据传输的吞吐量，确保网络连接的稳定。 大型对象——如有需要，可使用LOB模式优化大型二进制对象的传输。 并行化——通过并行线程和任务来满足大数据集的切换需求。据Ryan介绍，通过并行化，迁移时间可从2-2.5天缩短至仅3-4小时。 操作——将DMS视为其他基础设施的一部分；进行监控、运行记录等。遵循应用运营卓越原则。 总结——Ryan介绍了一些DMS的最新功能，如与Glue目录集成和数据验证功能的扩展。他强调了支持多个新数据库的DMS 3.1.5版本，如PostgreSQL 15、MongoDB、DocumentDB和Babel，并对空间数据和弹性集群进行了改进。 总体而言，演讲者全面展示了亚马逊云科技数据库迁移服务的功能。他们介绍了关键选项，如模式转换、同质迁移、自管理服务和[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)。现场演示展示了一个使用DMS协调的本地工具进行的Postgres迁移示例。他们还分享了现实世界的指导和客户案例，以确保从评估到切换和验证的成功迁移。与会者掌握了如何将数据库顺利迁移至亚马逊云科技云的专家见解。 **下面是一些演讲现场的精彩瞬间：** 亚马逊云科技的领导团队正致力于探讨数据迁移及其所提供的简化这一过程的工具。  这些领导者强调了多种可用资源，旨在协助客户完成数据库迁移，包括解决方案架构师、第三方合作伙伴、亚马逊云科技专业服务、DMS顾问以及财务激励措施。  领导者们详细解释了DMS模式转换服务的工作原理，利用了诸如协调器、加载程序、迭代器、解析器和抽象源树等组件。  屏幕截图展示了领导者们如何讲解如何在亚马逊云科技中利用实例角色来配置网络和安全设置。  亚马逊云科技DMS的预迁移评估功能通过在开始数据库迁移任务前生成详细的兼容性报告，有助于客户规避潜在问题。  领导者们引用了JP摩根的名言，即迈向进步的第一步是不甘于现状。  ## 总结 1. 在开始迁移之前，充分了解所有数据源及其使用情况。 2. 尽量实现模式的自动化转换。 3. 根据源工作负载适当调节复制实例的大小。 4. 在适用的情况下，利用原生工具进行同构迁移。 5. 执行预迁移评估以识别可能的问题。 6. 在迁移过程中核实源和目标数据的匹配性。 7. 为大型数据传输预留足够网络带宽。 8. 优化操作以符合切换时间框架。 鉴于多种迁移选择，建议在实施数据库迁移项目前进行全面规划和测试，以确保成功。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")