摩根大通：一站式报告、分析和机器学习数据平台

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/FSI317-JPMorgan_Chase__One_data_platform_for_reporting__analytics__and_ML-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 JPMorgan Asset Management 依靠数据，解决一系列销售和营销挑战，包括潜在客户开发、与客户的数字化互动、对渠道的实时可见性，以及领导层的准确收入见解。在本论坛中，了解该银行如何使用 [Amazon EMR](https://aws.amazon.com/cn/emr/?trk=cndc-detail)、[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)、AmazonSageMaker 和 Amazon Lambda 构建能够同时支持分析、财务报告和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的云原生数据堆栈。了解此堆栈如何通过现代化多个遗留产品、增强数据处理和 SLA 交付而节省数百万美元的成本，并使该机构能够开发[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型，这些模型为收入的大幅增长做出了贡献。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 在2022年亚马逊云科技re:Invent上，科林·马登以摩根大通为主题进行了开场演讲。他邀请了来自摩根大通资产管理部的兰娜·科萨和拉维·劳两位嘉宾进行分享。科林提出了一个问题作为演讲的主线：如果有一个数据平台，可以快速、可靠且反复部署，具备高级分析和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)功能，只需点击一下按钮就能部署，这对你的业务是否有利？答案显然是有利的。 兰娜·科萨担任摩根大通资产管理部的全球商业智能和分析团队的负责人。该公司在全球范围内管理着2.9万亿美元的资产，拥有超过1200名投资专业人士，是全球最大的资产管理公司之一。他们为全球各大市场的各类客户提供服务，包括机构、资产所有者、财务顾问和零售投资者。为他们提供600多种投资策略，并提供市场洞察和研究，以帮助他们实现长期投资目标。 正如兰娜所解释的，数据和分析对于摩根大通资产管理部的业务至关重要。他们的首席执行官乔治·加德在公司镇厅会议上强调，摩根大通每年投资150亿美元用于技术和数据，因为它们推动着他们业务的每一个方面。这使他们能够提高速度、规模和创新能力，以保持竞争力。 在这个背景下，兰娜负责资产管理部和私人银行分销的全球商业智能和分析，以及管理所有客户账户数据。在她职业生涯中，她在数据和分析领域积累了丰富的经验，建立了各种数据结构和解决方案。 兰娜和她的同事拉维·劳都是摩根大通的客户端技术团队的一员，该团队为他们的分销业务服务。他们建立了一个名为AMIQ的数据和分析平台，最初是为销售和市场营销而建的，但现在已扩展到广泛的组织使用。他们的用户群以独特的方式使用AMIQ： - 销售代表用它建立360度客户画像，准备日常电话，识别新机会和管理投资组合风险。 - 市场营销依赖于AMIQ进行潜在客户培育活动，计算营销投资回报率（ROI），并了解市场趋势以创建更个性化的内容。 - 客户直接访问AMIQ来分析他们的投资组合,发现新的投资项目,管理风险,并与行业同行进行比较。 尽管应用场景各有不同，但所有用户都在一定程度上依赖AMIQ平台上的数据和洞察力。 接下来，Lana简要介绍了AMIQ在亚马逊云科技上的构建过程。基础设施和工具支持ETL、分析和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)等工作负载。它们可以从内部系统和外部来源中获取数据，然后进行清洗、规范和转换，以便用于业务目的。AMIQ提供了诸如商业智能、数据科学笔记本和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型等工具来生成见解。它通过自助服务BI、SQL查询、笔记本和内部应用程序来传递数据。 例如，Lana分享了他们在AMIQ上构建的数据驱动的推荐引擎如何帮助销售人员优化时间。通过整合交易、数字、市场和产品数据，该引擎会生成一个优先级较高的每日电话列表，以讨论最佳的产品或解决方案。销售代表还可以提供实时反馈，以持续改进推荐。这不仅使销售更加高效，而且还个性化了与客户互动的方式，帮助他们实现投资目标。 在指标方面，AMIQ目前存储了5PB的数据，并每天摄入数亿新的记录。它将数十亿的记录转换为供应给超过600个最终用户的应用程序、仪表板和报告。团队由60名技术人员组成，负责基础设施、数据工程、数据科学和应用开发。 接着，Lana讨论了将AMIQ迁移到亚马逊云科技的动机。快速扩展基础设施和加速新策略的能力是主要的驱动因素。此外，具有满足不同分析使用案例的灵活平台，以及灵活的数据摄入、处理和访问功能也非常重要。 在交给Ravi之前，Lana提到作为一家受监管的金融服务公司，并非所有的亚马逊云科技服务都可能对他们可用或具有有限的功能。然而，尽管存在这些限制，将AMIQ的数据和分析平台迁移到亚马逊云科技的好处仍然非常诱人。 项目的主要架构师和工程师Ravi Rau随后深入了解了AMIQ架构以及他们如何使用亚马逊云科技。他概述了整个数据流——从数千个来源中获取数据，通过EMR每天处理数百亿记录，并通过BI工具、应用程序和ML平台分发到最终用户。 关键决策是采用亚马逊云科技的核心服务，如S3、EMR和Redshift，从而提供所需的可扩展性和灵活性。EMR负责处理他们所有的数据工程工作负载，包括跨结构化的、非结构化的和半结构化的数据。而Redshift则非常适合用于基于SQL的重度读取报告。 Ravi提供了一个例子，展示了EMR如何加速了高价值使用案例的交付。他们的推荐引擎在过去需要几天才能运行，但在EMR上现在可以在几小时内完成。更快的推荐有助于提高客户端互动和销售的个人化程度。 Ravi解释了他们构建自定义组件的原因。由于某些所需功能最初并不在亚马逊云科技的服务中，因此他们需要定制构建与内部应用程序的集成。例如，他们构建了一个元数据驱动的框架，以抽象处理各种数据格式、来源和接入问题的复杂性。 其他内部功能包括一个用于运行EMR作业并发布遥测数据的协调器，以及一个用于转换管道的规则引擎。协调器利用Lambda和SQS[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)地轻松地将每日EMR作业的数量从几个扩大到数千个。规则引擎允许业务用户通过UI（无需工程帮助）来配置管道逻辑。 在优化数据生命周期方面，Ravi详细介绍了他们的策略： - 输入：处理多种格式和来源的数据。使用Parquet进行标准化。捕获EMR中的变化数据。自动化数据质量过程，如异常检测。 - 转换：利用EMR对各种数据进行可扩展性。将处理过的数据复制到Redshift和OpenSearch以提高性能。将S3作为真相之源。使用亚马逊云科技的传输和S3共享进行大量传输。实现重试以处理消费者端的故障。 - 分发：Redshift支持基于SQL的消费者，OpenSearch支持搜索应用程序和API。使用亚马逊云科技的Transfer和S3共享进行批量传输。实施重试以处理客户端故障。 在设计可扩展性的弹性解决方案时，关键在于关注成本。选择Graviton处理器和S3存储桶密钥可以显著降低EMR和KMS的成本。他建议尽可能迁移到[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)模式以获得规模和成本效益。 在总结中，Ravi详细描述了他们如何将平台整合至代码基础设施，以便在摩根大通内部实现重复使用。这使得其他团队能够将其完整的平台部署到他们在亚马逊云科技上的账户中。 Lana总结了其中的关键要素：包括业务的复杂性、多样化的用户群体、AMIQ如何为他们提供服务、架构方面的权衡以及在团队间的重用情况，以及可量化的商业影响。迁移到亚马逊云科技帮助他们将成本降低了一半，提高了服务速度，并推动了每年额外的100亿美元销售额。 她还分享了经验教训：要关注未来需求的规划，而不仅仅是当前需求。优先保障数据质量。随着技术的发展，要持续评估平台并进行改进。 总的来说，摩根大通借助亚马逊云科技构建了一个高度可扩展和灵活的数据分析平台——AMIQ。通过做出明智的架构决策并优化数据生命周期，他们加速了业务洞察的获取并创造了巨大价值。他们的历程为将遗留数据平台迁移到云端提供了宝贵的实践经验。 **下面是一些演讲现场的精彩瞬间：** 兰娜·科萨（Lana Kosa）和罗·拉维（Ro Ravi）登上了舞台，与领导者们共同分享了一个关于将资产管理迁移到云端的故事。  亚马逊云科技的领导者们简要介绍了摩根大通资产管理公司的情况，这是全球最大的资产管理公司之一，管理着高达2.9万亿美元的资产。  摩根大通资产管理公司的首席执行官强调了数据和数据文化对其业务的重要性，因为摩根大通每年在技术和数据上投入150亿美元，这些技术和数据支持他们业务的各个方面。  借助AMIQ平台，销售人员可以自动整理相关数据，高效地为客户拨打电话做好准备，而不需要花费数小时手动收集信息。  该框架能够适应来自数千个数据源的元数据变化，而不会导致流程中断。  在迁移到云端或构建新平台时，要考虑到未来的需求。  演讲者感谢亚马逊云科技给予他们展示的机会，并感谢观众的参与。  ## 总结 摩根大通资产管理公司已搭建一个名为AMIQ的云端数据平台，以支持其在全球范围内的复杂业务。该平台能收集各类数据并进行转换，向各利益相关方提供分析。为了实现可扩展性，该架构采用了亚马逊云科技的服务，如S3、EMR和Redshift。此外，还定制了组件，以确保与内部现有系统的顺畅衔接。借助自动化和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)技术，数据质量和管道效率得以提高。通过消除重复、简化流程并优化资源，该平台降低了成本，同时还能更快地推出具有商业价值的数据产品。在实施过程中，公司积累了关键经验，如为未来需求进行规划、优先处理数据质量及持续寻找改进空间。由于设计可重用，其他团队也能快速部署。总之，云数据平台使摩根大通资产管理公司在创新方面实现了规模化。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")