在云端运行可持续的实时广告工作负载

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/ADM302-Running_sustainable_real_time_advertising_workloads_in_the_cloud-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 在本次技术和工程领导者会议中，了解公司如何利用云端，降低成本和优化扩展实时工作负载的性能，同时降低碳足迹。听听广告科技公司如何将可持续性带到架构设计的最前沿。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 在云中运行可持续的实时广告工作负载"的演讲邀请到了来自亚马逊云科技和Amazon Ads的专家，共同探讨如何优化云计算工作负载以提高可持续性并降低碳排放。 亚马逊云科技广告和市场营销技术团队的Stephanie Lazer对可持续发展进行了阐述，强调亚马逊云科技致力于云的可持续性，并助力客户采用环保实践。她提到了首位演讲者，来自Amazon Ads的Rakshit Upal，他将分享实时广告工作负载的相关内容。 Upal先生以自己童年的环保故事开篇，讲述了减少浪费和关注可持续性的重要性。他表示，这些原则将在技术服务的可持续性中得到应用。Upal先生介绍了自己的工作经历，现为Amazon Ads的高级经理，负责公司的可持续发展项目。他还阐述了Amazon Ads的业务范畴，包括赞助广告、展示广告、视频广告等。 为了展示广告技术的生态体系，Upal先生详细解释了广告的生命周期。这个过程从广告商和开发者开始，通过将营销管理系统与亚马逊的API集成来设置和管理活动。接着，亚马逊的广告服务系统将大规模分发活动，记录点击、印象和预算支出数据。然后将数据汇总至数据湖，用于构建优化广告相关性的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型。最后，将测量数据反馈给广告商，完成整个循环。 Upal先生强调了规模的挑战，指出亚马逊的广告系统每秒能处理数百万交易，具备低延迟特性，并在数百个高可用性的服务上运行。这使得全球范围内数十亿广告印象和数PB的数据存储成为可能。 Upal先生认为可持续发展是一种解决长期环境影响的解决方案。这种发展方式旨在满足当前的需求，同时不损害未来的利益。为了实现可持续发展，需要了解整个服务周期内的能源消耗，并采取最佳实践来减轻影响。他强调了共享责任的模式，即亚马逊云科技关注云计算的可持续发展，而客户则优化他们的云资源使用。通过双方的共同努力，可持续发展的影响可以得到快速扩大。在亚马逊广告方面，公司最近加入了Ad Net Zero，这是一个代表全球广告支出超过40%的行业联盟。作为气候承诺的签署方，这一行动体现了减少碳排放的决心。在公司内部，亚马逊广告遵循三步走的发展计划：测量足迹，教育团队，减少足迹。为了衡量公司的碳足迹，他们确定了80,000多个使用亚马逊云科技的亚马逊广告账户，并获得了这些账户的工作量级别和舰队级别的碳足迹数据，追溯至广告生命周期的各个阶段。分析结果显示，EC2、S3、EBS和DynamoDB这四大产品占据了他们足迹的99%。为了提高员工的环保意识，亚马逊广告举办了一场内部黑客松活动，50多个团队提出了优化建议。其中一个团队开发了一个工具，可以自动升级到更高效的实例类型，如Graviton。另一个[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)团队发现了一种方法，可以将模型在CPU而不是GPU实例上运行得更为精确。为了减少碳足迹，亚马逊广告致力于避免浪费，转向更高效硬件，并优化工作负载。为了防止浪费，他们开发了一个工具，可以找到所有账户中未使用的EC2容量并通知相关团队。这个工具使得六个月内未使用的容量减少了60%。Upal先生在分享案例时提到，一个大型广告系统将其整个EC2群迁移到所有区域的Graviton处理器，降低了成本35%，减少了排放44%。另一个测量系统将其群落的35%迁移到Graviton，将排放量减少了一半。一个广告缓存群正在实施压缩，以减少所需主机数量20%。 总结要点，Upal先生着重强调了关注减少浪费、采用更高效硬件（如Graviton）以及优化工作负载等关键原则。此外，他还建议升级至最新软件以提高效率，并采用诸如避免使用电子邮件附件等简便方法。一些简单的操作，如在不需要时关闭笔记本电脑，也可能产生较大的影响。 在介绍下一位演讲者John Briscoe之前，Upal先生结束了他的演讲。John Briscoe来自Analytic Partners公司，他首先介绍了公司的背景。Analytic Partners是一家通过数据平台提供营销功能的专业服务公司，拥有超过4000名员工，每天的广告印象超过8万亿。他们的Omni平台需要管理51亿兆字节的在线数据。 Briscoe先生强调了一个关键点，即成本降低也能减少排放。因此，将可持续性目标以成本优化的形式呈现，很容易获得支持。他列出了一些优化方法，按照转型影响和实施容易程度进行划分： 1. 迁移到云端 2. 使用S3智能分层 3. 转向按需服务的亚马逊云科技Lambda和Fargate 4. 调整[Amazon Redshift](https://aws.amazon.com/cn/redshift/?trk=cndc-detail)集群大小，使用Redshift Spectrum 5. 评估Graviton处理器在EC2和[Amazon Aurora](https://aws.amazon.com/cn/rds/aurora/?trk=cndc-detail)数据库服务中的应用 6. 删除未使用的[Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail)卷 7. 使用Parquet等数据压缩格式 Briscoe先生详细介绍了他们在云端的历程。他表示，Analytic Partners公司在2009年开始使用基本的EC2和S3服务。随着业务迅速增长，他们面临成本和排放挑战。母公司Omnicom承诺减少能源消耗，而客户对碳排放的关注也在增加，这给他们带来了更大的压力。 他们的原始技术栈严重依赖EC2实例。他们努力优化，尽可能使用按需和预留实例，使用EMR,RDS Aurora按需，以及Redshift按需。利用Redshift Spectrum允许减小集群大小。尽管数据持续增长，但这些努力产生了明显的成本降低趋势。 Briscoe先生提到亚马逊云科技的碳足迹工具提供了详细的排放数据，证实了优化最佳实践不仅降低了成本，还减少了排放。例如，使用Redshift Spectrum正确调整Redshift集群大小显著降低了EC2的排放。 分析伙伴公司正寻求进一步优化其业务流程，计划将EC2群迁移至Graviton处理器。然而，在实施过程中，发现与安全代理存在兼容性问题，因此需要进行回滚操作。尽管如此，布里奇先生指出，将[Amazon Aurora](https://aws.amazon.com/cn/rds/aurora/?trk=cndc-detail)数据库迁移至Graviton处理器将带来显著的成本和排放降低效果。" 在数据存储方面，布里奇先生解释道，S3智能分层功能可以根据对象的访问模式自动将其存储到低成本的存储空间中，从而大幅降低存储成本和排放量。自实施智能分层功能以来，分析伙伴公司的S3费用和排放量已显著减少。 总结目前的进展，布里奇先生说，分析伙伴公司预计将在2020年将碳排放量减少91%，从39.1万吨降至2023年的3.5万吨。这将相当于将燃油消耗量从每年的4400加仑降低至400加仑。 在布里奇先生的发言结束时，他强调了迁移至云端、利用S3智能分层功能、采用按需服务和调整资源大小等措施对公司产生的巨大影响。亚马逊云科技团队在整个可持续发展过程中将为分析伙伴公司提供全力支持。 接下来的演讲者是亚马逊云科技的高级解决方案架构师迈克尔·沃尔特。他曾先后在分析伙伴公司等多家公司从事可持续发展相关工作。沃尔特先生对于能够帮助和学习其他公司实现可持续发展感到兴奋。 沃尔特先生强调了获得领导层支持的重要性，并通过确定内部支持者、借鉴其他公司的经验（如气候承诺）以及将可持续发展目标与成本优化相结合来实现这一目标。他还提到，亚马逊云科技的架构良好框架提供了包括可持续性支柱在内的指导。 在阐述实现可持续发展的方法时，沃尔特先生提到了一些途径，如建立减少和创新的文化。减少涉及到通过使用工具，如S3存储镜头、调整EC2实例大小、配置实例调度、实施对象生命周期策略等方式来消除浪费。创新则意味着迁移至高效且现代化的技术，如Graviton处理器。 最后，沃尔特先生强调了对进步进行衡量的重要性。亚马逊云科技的碳足迹工具可以帮助企业了解排放数据并进行基准设定，以便识别主要的影响因素。此外，成本优化研讨会、CloudWatch仪表板和账户团队指导等资源也将提供更多帮助。 总的来说，视频演讲为我们揭示了亚马逊广告和Analytic Partners等企业是如何优化其广告和营销工作负载，以在亚马逊云科技上实现可持续发展的。主要议题包括量化碳排放、降低浪费、采用高性能硬件（如Graviton处理器）、利用按需服务进行创新、运用分层存储以及使用碳足迹监测工具等技术来评估进展。演讲者还分享了实际案例，展示了如何通过实际操作实现显著的成本和排放减少。他们强调与亚马逊云科技团队的紧密合作，以便继续在可持续发展道路上取得进步。 **下面是一些演讲现场的精彩瞬间：** 领导者强调了亚马逊对可持续发展的承诺以及推出新的可持续发展举措。  广告生命周期图展示了广告商和开发者如何与亚马逊云科技合作，利用亚马逊云科技的庞大规模和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)功能来构建、提供、衡量和优化广告活动。  亚马逊云科技与组织合作，将碳排放情景规划器集成到Omni中，使规划者能够在考虑预算和性能的同时优化低排放计划。  演讲者描述了技术团队如何尽可能地将计算转移到按需和预留计算，从EC2转向Lambda和Redshift Spectrum等服务，从而显著降低成本。  图表显示了在增加使用的同时，亚马逊云科技如何降低碳排放，证明了控制成本也控制了排放。  智能分层的实施有助于显著降低亚马逊云科技S3存储成本。  领导者强调了提前准备的重要性以及寻求帮助以取得成功的重要性。  ## 总结 这段演讲探讨了在云端运行可持续实时广告工作负载的方法。首先，来自Amazon Ads的Rakshit Upal表示，他的团队负责制定Amazon Ads的可持续发展计划。他们遵循三个步骤来实现这一目标：测量、教育和减少。首先，他们对亚马逊云科技账户的碳足迹进行了测量，发现计算和存储占据了绝大部分排放量。接下来，他们通过举办黑客马拉松活动教育工程师，从而产生了一些想法，例如自动升级到更高效实例的EC2舰队。最后，他们专注于减少闲置EC2实例，将舰队迁移到Graviton处理器，并启用存储压缩。Upal强调了采用更低碳效率硬件并优化工作负载的重要性。 随后，Analy的John Driscoll分享了他们从2020年到2023年如何实现了预计碳排放量减少91%的做法。他们转向按需服务，实施了大幅降低成本和排放的S3智能分层，并利用Redshift 光谱来缩小集群。Driscoll强调，成本节省直接与碳排放减少相关。他还强调了转向云计算、S3智能分层、按需服务和Redshift 光谱作为组织现在可以采取的有影响力的一步。 最后，亚马逊云科技解决方案架构师迈克尔·沃尔特总结了最佳实践。他建议通过寻找内部可持续发展倡议并确定已经签署气候承诺的行业同行来获得领导层的支持。沃尔特建议使用Well-Architected Framework的可持续发展支柱来评估工作负载。他建议通过最小化浪费、升级到最新技术和使用碳足迹工具等工具衡量进展来建立减少和创新的文化。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")