Rivian 如何建立电动汽车实时分析系统

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/ANT317-How_Rivian_builds_real_time_analytics_from_electric_vehicles-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 Rivian 的车辆数据平台是其车辆数据的真实来源。该平台是支持不同领域的基础服务，包括数字商务和保险、高级驾驶员辅助系统、车辆可靠性、智能诊断、充电和车辆维修。Rivian 对数据流的实时处理实现了异常检测和对其电动车状态的快速洞察。在本讲座中，了解 Rivian 的车辆数据平台团队如何使用 Amazon MSK 和其他亚马逊云科技分析服务，构建安全、可扩展、可观察、经济高效和可扩展的数据平台，为整个组织的不同团队提供支持。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 在2023年亚马逊云科技re:Invent上，视频首先欢迎观众参加主题为“实时数据推动利润业务”的会议。担任亚马逊云科技Apache Kafka托管流媒体服务(MSK)产品经理的Vicky表示，亚马逊云科技的服务正帮助各行各业客户通过实时、数据驱动的见解来利用其数据价值。这些见解使客户能够及时做出决策，构建创新产品，并提高规模效率。 例如，Rivian这家电动汽车制造商就是亚马逊云科技客户的典型代表。在本次会议上，我们将了解到Rivian是如何在其电动汽车数据平台上构建实时分析系统的。截至目前，Rivian已收到超过100,000辆汽车的订单，并向亚马逊交付了超过10,000辆电动送货车。截至2023年10月，这些EDV在北美和欧洲已经行驶了超过6250万公里。 此外，亚马逊云科技还提供了一些近期的创新，使得构建事件驱动的、成本效益高的数据管道变得更加容易。Vicky介绍了来自Rivian的两位演讲者——首席工程师Anurag Kundu和高级工程师Rupesh Mandal。 在深入探讨Rivian架构之前，我们将观看一段展示实时数据如何为Rivian车辆的驾驶体验提供动力的视频。视频中将介绍的使用案例包括远程解锁车门、监控车内有宠物时的车辆车厢温度以及向车队经理发出车辆离开指定地理区域的警报。 最后，Vicky强调，为了从高速、高容量的实时数据中提取价值，亚马逊云科技提供各种流媒体服务，包括Amazon MSK。MSK是一种用于构建端到端流数据管道的全面管理服务。许多亚马逊云科技客户使用Apache Kafka作为流行的数据流平台，但以高可用性、安全性和规模运行Kafka可能很有挑战性。MSK解决了这些操作挑战，并使像Fastly和Expedia这样的客户能够在亚马逊云科技上无缝运行Kafka。Expedia每天处理超过5万亿的流事件，而Fastly比自我管理的Kafka节省了50%的成本。 为了提高成本效益，MSK目前支持Graviton3实例，这有望将计算成本降低24%，同时提高处理能力29%。对于长期数据保存，MSK的分层存储提供了可扩展的无限制虚拟对象存储，这种存储方式已经在Kafka 3.6中得到了广泛应用。例如，Fastly公司通过减少本地磁盘的使用，充分利用分层存储的优势，实现了高达69%的成本节约。 针对弹性需求，MSK复制器可以在地区间复制数据，以提高可用性和业务连续性。这使得构建跨区域的流应用变得更加简单。 在连接性方面，任何VPC或亚马逊云科技账户中的Kafka客户端现在都可以使用IAM策略和亚马逊云科技提供的客户端库（如Java、Python和.NET）安全地私有连接到MSK集群。 在集成方面，MSK与诸如[Amazon Kinesis](https://aws.amazon.com/cn/kinesis/?trk=cndc-detail) Data Firehose（用于将数据交付到S3）、[Amazon Athena](https: //aws.amazon.com/cn/athena/?trk=cndc-detail)（用于SQL分析）和Amazon OpenSearch（用于日志和分析）等服务具有更深入的本地集成。 Rupesh随后详细解释了Rivian如何利用MSK来驱动四个关键的实时数据管道： 1. 远程信息服务 - 这个微服务提供对实时和历史车辆信号数据的亚毫秒访问，这些数据在Rivian内部被广泛使用，尤其是由移动团队使用。它依赖于MSK中的规范化管道以及[Amazon ElastiCache](https://aws.amazon.com/cn/elasticache/?trk=cndc-detail)来实现低延迟。 2. 数据湖 - 这使Rivian的员工能够通过[Amazon EMR](https://aws.amazon.com/cn/emr/?trk=cndc-detail)、[Amazon Athena](https: //aws.amazon.com/cn/athena/?trk=cndc-detail)等服务和工具分析几个月或几年的历史遥测数据。MSK中的数据管道将规范化的传感器数据流入Databricks上的Delta Lake表，这是数千名Rivian员工使用的数据湖的基础。 3. 事件监控和通知 - Apache Flink作业监控30多个关键的车辆信号，并在发生例如低范围或高车厢温度等事件时向客户发送通知。“宠物模式”使用案例允许所有者监测有宠物在车厢内的车厢温度。这些作业使用MSK和亚马逊云科技Lambda通过实时管道发送移动、电子邮件和短信通知。 4. 亚马逊最后一公里配送 - 这个管道将Rivian电动送货车的实时遥测数据同步到亚马逊，以便进行路线优化和安全监控。迄今为止，已向亚马逊交付了超过10,000辆EDV。包括GPS、充电状态和碰撞检测数据在内的数据从MSK主题通过批处理和实时管道传输到亚马逊的连接车辆平台。 他们使用Confluent Control Center来监控主题和Kafka消费者组。Kafka Connect实现了与其他数据系统的集成，而MirrorMaker则负责跨地区复制数据以迁移到亚马逊云科技账户。 相较于使用JSON，采用Snappy压缩的Avro格式能将数据量减少70%。认证过程依赖于IAM和SASL SCRAM，而授权则是通过自定义API服务完成。 监控系统采用了Prometheus和JMX指标，并与PageDuty和Slack进行了集成以便发出警报。随着车辆生产量的增长，他们观察到每秒消息数量同比增加了140%。 通过优化客户端流量实现机架感知，从而降低了数据传输费用85%，同时生产者压缩还使CPU使用率减少了57%。 预计实施分层存储后，MSK的计算和存储成本将降低40-45%。 总的来说，阿努拉格探讨了未来的机遇，例如扩展到数百万辆汽车和多个地区的PB级数据。Rivian预计在未来几年内将有约100万辆连接车辆，这将为数据分析带来大量数据。阿努拉格强调，Rivian与亚马逊云科技和MSK的合作关系对其在电动汽车领域的持续发展至关重要。 总的来说，这段视频全面概述了Rivian如何利用MSK和其他亚马逊云科技服务构建实时数据平台，以支持创新的连接车辆用例和分析。它强调了在亚马逊云科技上使用现代流媒体架构的可能性，以便从中海量实时数据中获取价值。Rivian的数据平台展示了利用云技术重塑交通未来的巨大潜力。 **下面是一些演讲现场的精彩瞬间：** 亚马逊云科技的服务正助力各行各业客户挖掘数据的潜力，实现实时的数据驱动洞察力，从而能够更快地进行决策和创新产品及服务的提供，提高整体运营效率。  借助云计算技术，系统能够在车辆违规地理围栏时自动识别并向车队管理人员发送通知。  亚马逊云科技通过提供诸如[Amazon Managed Streaming for Apache Kafka](https://aws.amazon.com/cn/msk/?trk=cndc-detail)等管理服务，构建了高性能的数据平面基础设施，满足了持续增长、耐用性以及工具支持的需求。  数据湖管道支持对大量数据集（如工厂、制造、诊断和服务数据）进行深入的历史查询，从而推动分析和仪表盘的发展，并通过权限控制来确保数据隐私得到保护。  亚马逊致力于可持续发展的目标，积极研发新型电动送货车辆以降低碳排放。  Mirror Maker服务有助于将数据迁移至亚马逊云科技账户，以便用于亚马逊云科技 Managed Kafka。  领导者们鼓励与会者分享他们的流媒体使用案例，并参与相关讲座，以更深入地了解亚马逊云科技流媒体服务的相关信息。  ## 总结 The video discusses how electric vehicle company Rivian leverages Amazon Web Services (亚马逊云科技) to build real-time analytics from the data generated by its vehicles, specifically using Amazon Web Services [Amazon Kinesis](https://aws.amazon.com/cn/kinesis/?trk=cndc-detail) Data Streams (MSK). Rivian adopts a connected vehicle model where sensor data streams are transmitted to the cloud. This supports use cases such as remote commands, geographic fence alarms, and cabin comfort monitoring. Rivian employs Apache Flink for stream processing and Amazon Web Services Lambda for serverless computing. For the backbone of the data pipeline, they use Amazon Web Services MSK due to its scalability, tool ecosystem, and management services. Four key pipelines driven by MSK include: a remote service for vehicle signal data, a data lake for historical analysis, an event observer for notifications, and a pipeline shared with Amazon for delivery van data in the Amazon Last Mile program. Key lessons learned include scaling the ecosystem as the fleet grows to millions, lowering costs like in MSK 3.6 through hierarchical storage, improving observability and tools, and leveraging AI/ML. Rivian is realizing the future of driving through innovative use cases based on Amazon Web Services stream processing services. ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")