通过 Amazon Redshift 支持自助服务和近实时分析

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/ANT211-Powering_self_service___near_real_time_analytics_with_Amazon_Redshift-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 为保持竞争力，允许整个组织的数据公民看到近乎实时的分析，而不必担心数据基础架构管理，这对业务至关重要。在本论坛中，了解数据用户如何使用 [Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail) 和亚马逊云科技流数据服务获得关于流数据的近实时见解。使用灵活的查询工具和 Serverless 体系结构探索解决方案，该体系结构带来了智能自动化和扩展功能，即使是最苛刻和最不稳定的工作负载，也可以保持一致的高性能。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共800字，阅读时间大约是4分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 在名为“利用[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)为自助服务和近实时分析提供动力”的演讲中，亚马逊云科技re:Invent的主讲人、Redshift工程总监Naresh Chainani欢迎与会者参加这次数据分析大会。他介绍了他的共同主讲人们——FanDuel的高级总监Kate Kim和高级经理Debu Panda。 Naresh概述了会议的内容，包括为什么自助服务分析的重要性、其需求和Redshift在过去是如何在计算、数据和使用层面实现这一目标的。随后，Kate将分享FanDuel与Redshift的合作历程以及他们所面临的挑战。最后，Debu将展示如何使用Redshift进行[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和如何将分析与其他领域相结合。 Naresh用了一个比喻开始了他的演讲：去杂货店购物——你可以挑选你需要的东西，而不需要担心产品是如何到达那里的复杂物流。同样，对于自助服务分析，业务用户应该能够专注于结果和见解，而无需担心基础设施问题。Redshift的目标是处理所有底层的复杂性，以便客户不用担心扩展、安全等问题。 他解释了其中涉及的不同角色——数据工程师负责准备和处理供其他人（如数据科学家、开发人员、分析师和业务领导）消费的数据，然后这些人得出见解以影响业务结果。分析的速度已经加速——从每周到每天再到近实时的数据摄入来支持交互式使用案例。 Naresh接着讨论了自助服务分析的三个层次——计算、数据和使用。对于计算，用户希望获得高性能、快速启动、易于扩展和成本控制。18个月前，Redshift推出了Serverless，通过自动扩展和其他管理功能来解决这些需求。它消除了操作负担，使用户可以专注于成果。Serverless的增长非常迅速，因为它简化了分析访问。 对于数据摄入，近实时分析需要避免数据移动和容易出问题的管道。Redshift引入了诸如从S3自动复制、从Kafka/Kinesis流处理摄入以及从像Aurora这样的源头的零ETL数据集成等功能。这些允许以高吞吐量和高延迟连续摄入数据。 在消费领域，基于角色的安全和数据共享使得用户能够在控制访问权限的同时享受自助服务。如中心辐射式和数据网状等多集群架构允许不同消费者群体共享单一数据副本。像大型企业等高阶用户通常会采用数据网状结构，其中的团队既能作为数据提供者又能作为消费者来共享数据。 FanDuel的Kate Kim随后阐述了他们如何通过使用Redshift来改进他们的数据仓库架构。作为一家领先的体育博彩运营商，FanDuel的数据量在NFL赛季期间增长了5倍。他们的单个数据仓库面临着糟糕的查询效率和作业延迟等问题。 为了在不增加额外ETL的情况下提高这些问题，数据工程团队采用了[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)技术并实现了数据共享，以便实时提供新鲜的数据，而无需额外的ETL处理。他们将系统拆分为一个生产ETL集群和多个消费者集群，这使得[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)能够针对不同类型的工作负载进行优化。 对于资源密集型的风险和交易团队，[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)集群提高了作业运行时间以满足服务等级协议（SLA），同时将成本降低到原来的十分之一。总体查询效率从48%提高到了73%，这些改变为他们带来了额外的1500万美元年度收入。此外，团队之间的数据共享和协作也提高了业务满意度。 Debu Panda探讨了客户如何通过高性能的SQL编辑器、简化的可视化和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)来实现数据的民主化访问。Redshift ML允许SQL用户使用SageMaker Autopilot构建模型，无需编写代码。Jobcase每天使用这种技术进行超过10亿的预测。 Redshift与SageMayer JumpStart的新集成允许从SQL调用大型语言模型，以解决诸如情感分析等用例。Redshift查询编辑器为分析师提供了一个集成的SQL开发环境，支持笔记本、可视化和团队协作。 Debu还展示了一个实时的欺诈检测用例。通过Kinesis流式传输的信用卡交易数据被输入到Redshift中。Redshift ML在运行时构建预测模型以标记欺诈交易。随着新数据的不断进入，会生成新的预测以检测潜在的欺诈行为。 总的来说，这次展示展示了Redshift在计算、数据和消费方面的强大功能，共同实现了自助服务和接近实时的分析。[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)、流式数据摄取和ML与诸如查询编辑器等工具集成，提供了高性能、可扩展和安全的数据访问方式。 FanDuel的经历展示了一个组织如何通过Redshift解决实时分析难题。实时欺诈检测演示强调了将流数据与即时构建的ML模型和预测能力相结合的重要性，以满足现代数据驱动应用的需求。 Redshift简化了基础设施和数据管道的管理，使得客户能够专注于从数据中创造价值。实例和用例强调了Redshift如何支持现代的自服务分析，同时不断扩展其功能，例如与SageMaker的集成，以满足未来的需求。 **下面是一些演讲现场的精彩瞬间：** Debu Panda，一位高级经理，戴着分析师的帽子参与了演示活动，并为观众呈现了一场引人入胜的展示。  领导者们强调了高性能计算、快速部署、便捷的数据访问以及可预测的成本在亚马逊云科技应用中的重要性。  领导者们特别强调了Redshift的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)功能所实现的快速增长和易于使用的特性，这种功能能够自动扩展以满足客户的需求。  领导者们通过实例展示了如何使用亚马逊云科技的Glue自动化模式来轻松地从CSV文件中创建表格。  演示过程中，领导者们展示了Redshift ML如何通过分析信用卡交易数据来识别欺诈行为。  此外，演示还展示了亚马逊云科技的分析功能与Redshift如何实现实时欺诈预测这一目标。  ## 总结 在亚马逊云科技举办的re:Invent上，演讲主要探讨了如何利用[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)实现自助服务和实时分析。 首先，Redshift旨在简化数据基础设施，让分析师能够专注于业务成果，而不必担心管理管道或扩展资源。通过[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)模式的Redshift、流处理摄取功能以及从S3自动复制等功能，大大减轻了用户的ETL工作负担。 其次，Redshift支持多样化的分析工作负载和人格，满足从即席SQL到[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)等各种需求。用户可以通过Redshift ML使用标准SQL命令构建模型，并在后台利用SageMaker Autopilot进行操作。与新集成的新Sagemaker JumpStart功能还允许从SQL调用大型语言模型以进行文本分析。 最后，如中心辐射式或多集群架构等多集群架构方案可以提升可扩展性并降低竞争。FanDuel的案例展示了如何将一个单一的Redshift集群拆分为专门的工作负载，从而提高性能并降低成本。跨集群的数据共享和反向共享提供了对新鲜数据的低延迟访问。 总的来说，Redshift旨在成为一款灵活且易于使用的分析引擎，通过[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)选项和实时数据集成来减轻基础设施负担。这使得用户能够专注于提取见解而非数据整理。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")