Rocket 公司如何在亚马逊云科技上运行其数据科学平台

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/ANT321-How_Rocket_Companies_run_their_data_science_platform_on_AWS-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 Rocket 公司每天提供 1000 万个自动化 AI 决策，以提供快速、个性化的客户体验。参加本次讲座，了解 Rocket 公司如何利用 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Studio 和 [Amazon EMR](https://aws.amazon.com/cn/emr/?trk=cndc-detail)，提高可扩展性并减轻其数据科学运营的管理负担。了解他们如何应用 [Amazon Athena](https: //aws.amazon.com/cn/athena/?trk=cndc-detail)、Amazon Lake Formation 和 [Amazon EKS](https://aws.amazon.com/cn/eks/?trk=cndc-detail) 等服务，增强数据可访问性、分析和集成。了解曾经需要几天时间的数据接收工作负载现在如何在几小时内运行，部署如何在几天内而不是几周内运行，从而帮助他们的数据科学家更快地迭代和创新。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 演讲者Ravindra Gupta以充满激情的方式欢迎观众参加2023年re:Invent，开启了演讲的序幕。他承认在当今世界，数据对企业至关重要。随着存储成本的持续降低，公司在运营过程中积累大量数据变得越来越容易。然而，尽管收集数据是简单的，但从数据中获取价值仍对许多人构成挑战。 Ravindra解释说，本次会议的重点将是展示企业如何利用亚马逊的分析和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)服务有效地挖掘其数据。亚马逊已经帮助数十万名客户实施了数据分析和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的最佳实践。没有比直接从客户那里了解这些最佳实践更好的方法了。 接下来，Ravindra介绍了来自Rocket Companies的Dan Xue，她是一个通过亚马逊云科技实现巨大成功的客户典范。他解释道，Dan将分享Rocket Companies在面对数据和基础设施挑战时的经历，以及他们如何通过[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和分析在亚马逊云科技上克服这些障碍，以及这种现代化带来的商业影响。 Dan走上舞台，热情地向大家打招呼。她提到，她从实习开始就在Rocket Companies工作了10年，期间担任了引领他们数据平台现代化的领导角色。 Dan解释说，Rocket Companies的目标是通过大幅简化抵押贷款流程来实现美国梦。该公司由Dan Gilbert于1985年创立，旨在将抵押贷款申请过程从分支机构转移到更高效、更便捷的格式。 1996年，Gilbert将整个抵押贷款流程放入一个可以寄给客户的“披萨盒”中，这使得Rocket公司能够处理至今超过3500万笔贷款。Dan强调，Gilbert通过在两个月内创新实现了这一突破，体现了公司的“当你相信它时，你会看到它”的文化。 1998年，随着互联网逐渐受欢迎，Gilbert大量投资将Rocket的整个抵押贷款流程搬到线上。与今天的AI和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)崛起类似，20世纪90年代末见证了互联网时代的曙光。Gilbert认识到了这场革命，并提前调整Rocket的商业模式来拥抱它。 在2015年，Rocket公司推出了首个全面的在线自助服务抵押贷款流程——Rocket Mortgage，为公司的进一步发展奠定了基础。相较于现今的“Gen AI”时代，Dan对此进行了对比，并强调了Rocket公司如何致力于采用最新技术。除抵押贷款之外，Rocket还通过Rocket Loans涉足个人贷款市场，通过Rocket Homes开展房地产业务，并通过Rocket Money提供财务健康管理工具，从而拓展到其他金融服务领域。此外，该公司还积极参与当地社区活动，如举办“志愿者日”及支持已筹集5500万美元的Gilbert家族基金会，旨在对抗神经纤维瘤病。尽管当前抵押行业正面临利率上升的挑战，但Rocket将其视为扩大客户群和服务范围的机会。Dan强调，在过去的38年里，Rocket能够实现诸多创新，都离不开对数据的充分利用。回忆起职业生涯初期的一个关键时刻，当时公司的创始人Dan Gilbert向Warren Buffet展示了他们的自主分析平台——Mission Control。这个系统可实时追踪客户抵押贷款过程的每个环节。亲眼目睹这种前沿的数据分析激发了Dan对数据的热情，并促使她在Rocket投身于这一领域的工作。在过去15年里，Rocket已在业务中部署了数百个自助服务数据分析解决方案，以满足客户需求、优化营销策略、实现流程自动化和数据保护。然而，由于2019年和2020年利率下降导致抵押贷款数量翻倍，原有的大数据架构已难以跟上市场需求。Dan解释道，自2017年首次实施数据湖以来，他们在数据摄入方面仍存在一定的局限性。这导致了他们无法适应快速变化的数据环境。 火箭公司借助亚马逊云科技的强大功能成功应对了诸多挑战。他们采用了亚马逊S3进行持久对象存储，Lake Formation以实现安全管理和治理，Glue Catalog作为中央元数据存储，Lambda函数以满足可扩展的数据摄入需求，Glue ETL作业负责数据处理，亚马逊EMR运行Spark工作负载，亚马逊Redshift作为云计算数据仓库，以及亚马逊SageMaker用于[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)。 这一变革使得火箭公司的数据摄入时间从4-8周缩短至仅几分钟，效率大幅提升。此外，该架构还提高了系统的支持能力，并在传统环境下降低了40%的成本。 丹强调了诸多优势，如可扩展性以处理PB规模的数据量，企业级安全性以保护敏感金融数据，向后兼容性以轻松迁移现有工作负载，服务之间的紧密集成以减少工作重复，以及灵活性以通过低代码工具授权更多用户。 得益于这一现代化进程，火箭公司能够指数级扩大其在分析和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)领域的应用。截至目前，他们已经用该平台驱动了37亿个自动化的人工智能和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)决策。这些都是由他们的现代化架构所支持的37亿个决策。 丹详细解释了亚马逊EMR如何为他们的Spark工作负载提供易于迁移兼容性，同时节省大量成本，减少40%的开支。她还强调了亚马逊EMR的自动扩展功能，打趣说她可以根据需求调整她的纱丽包裹方式。 火箭公司还利用亚马逊SageMaker为其数据科学家提供了一个完全管理的、安全的平台。使用自定义映像的灵活性和与亚马逊EMR的集成使他们能够根据需要扩展数据科学工作流程。 展望未来，火箭公司计划利用新功能，如亚马逊DevOps Guru，以实现进一步的创新。总的来说，丹强调，为了充分利用数据，公司需要完成三个关键步骤。首先，建立可靠的管道，将数据从各种来源高质量地输入到类似亚马逊S3的持久存储层中。其次，构建一个使用亚马逊EMR、亚马逊Redshift和Glue等服务的高效可扩展架构，以处理数据并建立精选产品。最后，利用数据科学和ML工具（如亚马逊SageMaker）来挖掘商业洞察。 拉文德拉随后总结了几个关键点。他强调，尽管数据存储成本不断降低，但从中提取价值仍然具有挑战性。他所介绍的分析和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)服务可以帮助企业采用经过验证的最佳实践来解决这个问题。 如今，已有数十万亚马逊云科技客户取得了成功。拉文德拉建议观众们在自己的组织中采用类似的工具和策略。 总的来说，演讲者讲述了火箭公司如何成功地迁移到亚马逊云科技的数据分析架构。这一变革使公司能够利用丰富的数据资源，通过可扩展且安全的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)管道做出更好的决策。 事实证明，这些成果是非常显著的，目前已经有数十亿个基于数据的自动化决策在改进客户体验。他们的成功故事为企业提供了一份蓝图，展示了如何通过亚马逊云科技发掘数据真正的潜力。 **下面是一些演讲现场的精彩瞬间：** 领导者着重强调了亚马逊云科技的SageMaker如何凭借其无代码和低代码特性，使得[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型得以灵活部署，从而使更多的业务分析人员受益。  领导者对于通过让数据科学家提前接触Bedrock和32个ML模型所推动的创新速度感到兴奋。  该平台为数据科学家提供了轻松创建、捕捉和管理集群以构建[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型的能力。  此外，该平台还支持使用本地模式和内置图像等功能为数据科学家构建和优化自定义镜像。  亚马逊云科技的新[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)运营功能有助于组织在保持合规和控制的同时，更快速地实施变革。  亚马逊云科技使企业能够使用Redshift、EMR和SageMaker无缝地在整个公司内创建一个分析层，从而利用[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)改造业务。  ## 总结 首先，Rocket Companies在传统数据平台方面曾面临诸多挑战，包括漫长的时间消耗、扩展性差和不稳定等。为了实现现代化转型，他们果断选择了亚马逊云科技作为合作伙伴，成功将数据摄入时间从数周缩短至几分钟，成本降低40%，同时有效消除了生产问题。 其次，亚马逊云科技驱动的新平台为数据科学家提供了灵活的资源访问途径，使得部署更加迅速且提高了数据安全性。这一举措使得公司内部超过了37亿个自动化AI决策，加速了创新步伐，同时也符合金融监管要求。 最后，展望未来，Rocket Companies将继续利用亚马逊云科技的AI服务，例如无代码[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)平台SageMaker Canvas和企业数据科学基础设施Bedrock。这将进一步推动数据治理，提高数据工程效率，并为金融服务领域发掘更多AI应用案例。 总之，通过在亚马逊云科技平台上重塑数据平台，Rocket Companies成功挖掘了数据的潜在价值，提升了数据科学能力，并在AI应用方面处于行业领先地位。这一历程充分展示了亚马逊云科技的分析和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)服务如何助力企业加速创新并充分发挥数据优势。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")