通过端到端 Serverless 数据体系结构加快创新

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/ANT318-Accelerate_innovation_with_end_to_end_serverless_data_architecture-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 在当今快速发展的环境中，数据专业人员面临着构建能够快速扩展、提供经济高效的结果并支持各种数据用户需求的解决方案的挑战。了解亚马逊云科技如何在不必管理跨数据库、分析和 AI/ML 的基础架构的情况下更快、更容易地执行现代数据战略。在本论坛中，请了解 Serverless 亚马逊云科技服务如何使快速构建事件驱动的数据管道和微服务架构变得更容易，从而帮助您进行大规模创新。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共800字，阅读时间大约是4分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> Vincent Owski和Sandipan Bhowmik在演讲开始时强调了现代数据策略对于组织成长和创新的重要性。据Bhowmik解释，研究发现，拥有云计算环境下现代数据策略的公司，每年实现超过20%收入增长的可能性是其他公司的8.5倍。现代数据策略的关键方面包括现代化遗留系统、统一孤岛数据源以及推动创新。 为了展示现代[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)架构的优势，演讲者们用一个假设的案例进行了说明：假设有一家名为Tan的电子商务公司，其过时的单体架构需要更新。Tan的遗留系统由一个大型PostgreSQL数据库驱动，用于支持他们的目录、搜索、推荐和订购系统。与分析相关的数据会被传输到一个内部的Hadoop集群中，数据工程师可以通过Jupyter笔记本连接到该集群来处理和探索数据。结构化数据然后被存储在另一个专为BI查询优化的PostgreSQL数据库中。 然而，这种架构给Tan带来了一些问题。在像黑色星期五这样的高峰流量日，他们的系统可能会在负载下崩溃。对单体平台的任何更改或维护都可能使整个系统处于停机风险之中。他们的开发人员受到由架构决定的工具的限制。由于设置新基础设施所需的时间，尝试新想法变得困难。 为了解决这些问题，Tan采用了微服务方法，并完全使用[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)系统。他们的目录、搜索、推荐和订购系统迁移到了专门构建的数据库，如DynamoDB、OpenSearch、Neptune和Aurora Serverless。对于数据摄入和处理，他们利用了亚马逊云科技Glue、亚马逊云科技MSK和亚马逊云科技EMR。他们的数据湖存储在亚马逊云科技S3上，可以在那里用Spark处理并通过Data Exchange提供。Redshift Serverless和QuickSight处理商业智能工作负载，而SageMaker使他们的数据科学家能够构建并部署[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型。 这个[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)架构为Tan带来了几个关键好处： 易用性和灵活性是采用[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)技术的两大优势。在使用[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)技术后，谭的开发者无需再承担基础设施维护的工作，从而可以将更多精力投入到应用逻辑的开发中。例如，Aurora Serverless这类服务只需要最少量的配置，就能大大减轻开发者的负担。采用微服务的方法还能让开发者独立完成任务，这意味着小规模的团队也能拥有完整的应用程序代码和配套的基础设施支持。 采用[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)技术后，谭能够建立一个涵盖基础设施、应用程序代码和测试的持续集成/持续部署（CI/CD）管道，从而实现更快的迭代和新功能的部署。 借助预热的功能，亚马逊云科技Glue能够在几秒钟内为作业分配资源，实现近乎实时的数据处理。此外，亚马逊弹性映射Reduce（EMR）也具有快速扩展功能，可通过实例快照和容器实现。 相较于传统的单体架构，微服务方法能减少破坏的范围，提高系统的弹性。Aurora Serverless默认会部署在多个可用区域，以确保内置的弹性。 使用[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)技术后，亚马逊云科技将承担更多的安全责任，从而降低谭的安全风险。同时，微服务的方法也能对工作负载进行隔离，进一步提高安全性。 在[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)技术的加持下，谭只需为其使用的资源付费，避免了过度配置的问题。随着运营效率的提高，未来的成本还将进一步降低。 在成本节约和创新之间找到平衡并非难事。没有了基础设施管理的困扰，谭可以尝试新的创意，比如利用亚马逊SageMaker构建基于[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的推荐系统。[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)环境支持低成本的高效迭代。 为了展示这些创新的可能性，鲍姆尼克提供了一个示例：谭使用亚马逊云科技的亚马逊Transcribe、Amazon Lambda、亚马逊Kendra和摘要服务等[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)服务，构建了一个实时呼叫分析和客服代表辅助系统。该系统能够分析客户在支持电话中的情感，并为客服代表提供实时的下一步行动建议。正是得益于亚马逊云科技的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)服务的积木式可组合性，简化了构建这种创新应用程序的过程。 鲍姆尼克还提供了一些实际案例，例如宝马和NextGen Healthcare等公司通过迁移到亚马逊云科技的亚马逊Glue和亚马逊Redshift[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)等产品，成功降低了开支和成本。 在总结中，演讲者强调了亚马逊云科技能够在数据现代化的各个阶段提供支持——无论是从零开始制定数据策略，还是从内部系统迁移到云端，优化现有的云计算架构，还是利用新的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)应用进行创新。主要观点是，通过使用亚马逊云科技的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)数据和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)服务生态系统，企业可以降低基础设施管理成本和开销，从而推动创新。 **下面是一些演讲现场的精彩瞬间：** Sandeepan Bhowmik，一位位于伦敦的亚马逊云科技分析师解决方案架构师，拥有超过15年的为客户构建大规模数据平台的经验。  由于Tank电子商务平台的复杂结构在高峰时段带来了巨大的压力，且创新受到因更改困难而导致的阻碍。  为了实现个性化教育，Ang决定采用专为运营系统设计的数据库，如DynamoDB和Neptune。  亚马逊Redshift[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)提供了高度可用的数据仓库，客户只需在运行查询时付费，从而降低了成本。  宝马公司通过使用亚马逊云科技的Glue来自动化摄取并构建一个目录，使得分析人员能够轻松地找到和共享数据，从而提高了数据平台的使用效率。  亚马逊云科技可以协助组织在其数据旅程的任何阶段获得支持——从创建数据策略到迁移本地工作负载再到优化现有云架构——并提供专业团队和指导的过程。  利用[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)服务来实现您的数据战略，并将数据作为竞争优势。  ## 总结 这段演讲主要讲述了在线零售商Tan如何通过将其数据架构转型为基于亚马逊云科技的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)微服务模型，从而提高创新能力、降低成本和改善可扩展性和弹性。在转型之前，Tan拥有一个单一的内部数据平台，这使得创新和扩展变得困难。然而，通过采用[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)服务，如DynamoDB、Aurora和EMR，Tan实现了自动化、灵活性和按使用付费的价格。这使得开发速度更快，减少了运营开销，并且能够运行低成本实验。 [无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)还通过快速自动扩展提高了可扩展性。使用亚马逊云科技Glue，Tan通过微批量实现了接近实时的数据处理。EMR使用容器化优化了后续作业的启动时间，缩短到秒级。这种弹性允许更积极的扩展。 通过将工作负载隔离，增强了弹性。与单体相比，故障的影响范围减小。像Aurora Serverless这样的专用数据库具有内置的多AZ配置，提高了耐用性。 凭借这个现代架构，Tan能够快速构建创新的解决方案，例如使用AI和ML的实时客户呼叫分析。演讲者在演讲结束时提供了一些资源，如Well-Architected Review，以帮助将遗留系统迁移到[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")