宣布 Databricks 支持 Amazon Graviton2,性价比提高3倍

数据库
存储
0
1
{"value":"今天,我们很高兴地宣布 Databricks 对基于 Amazon Graviton2 的亚马逊弹性计算云(Amazon EC2)实例的支持的公开预览。Graviton 处理器由亚马逊云科技进行定制设计和优化,为运行在 [Amazon EC2 ](https://aws.amazon.com/cn/ec2/?trk=cndc-detail)上的云工作负载提供最佳性价比。当与高性能 DataRicks 查询引擎 Photon一起使用时,基于 Graviron2 的亚马逊 EC2 实例可以为您的 data lakehouse 工作负载提供比同类亚马逊 EC2 实例高3-4倍的性价比。在这篇博文中,我们将介绍 Photon 与 Graviton2的性价比,并为您提供进一步降低亚马逊云科技基础设施成本的其他建议。\n\n### **Photon 和 Graviton2 的性价比**\n为了确定 Photon 和 Graviton2 的性价比,我们在基于 Graviton2 的 R6gd EC2 实例和类似的 I3 EC2 实例上进行了一个简单测试,运行两种不同的工作负载(TPC-DS 和带有批量插入和合并语句的标准 ETL 工作负载)。我们发现,对于 EC2 实例,仅 Photon 引擎就显著提高了性价比。但基于 Graviton2 的实例上的 Photon 更进一步,与 I3 实例上以前的 Databricks 运行时相比,ETL 工作负载的性价比提高了3.3倍,TPC-DS 工作负载的性价比提高了3.7倍。尝试基于 Graviton2 实例的客户报告了类似的结果,并分享了我们的兴奋!下面是一位 Databricks 客户的一句话,他碰巧对基于实例的 Arm 了如指掌。\n\nArm 生产力工程业务副总裁 Mark Galbraith 说:“云计算正在推动半导体设计领域的重大创新,通过将我们的设计工作量转移到基于 Arm 的 Amazon Graviton2 实例上,提供显著的性价比提升,我们亲眼看到了 Arm Neoverse N1 平台带来的好处。”。“这一点对于 Graviton 2 上的 Databricks 尤为明显,我们期待着将 Databricks 的生产使用迁移到 Graviton 2 上,以进一步增强用户体验并降低成本。”\n\n::: hljs-center\n\n![image.png](https://awsdevweb.s3.cn-north-1.amazonaws.com.cn/f4b5f5b6e0aa4f75a16ce983560b4ec6_image.png)\nPhoton 和 Graviton2 的性价比比较\n\n:::\n\n\n通过 [Amazon EC2 ](https://aws.amazon.com/cn/ec2/?trk=cndc-detail)Spot 实例和 [Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail) gp3 卷支持,进一步节约了成本\n\n除了 Graviton2 和 Photon 之外,还有其他方法可以提高 Amazon Web Services 上 Databricks 工作负载的性价比。这些措施包括:\n\n**[Amazon EC2 ](https://aws.amazon.com/cn/ec2/?trk=cndc-detail)Spot Instances**–Spot Instances 可让您充分利用 EC2 的闲置容量,与按需价格相比,可享受高达 90% 的折扣。根据工作负载的性质,您可以使用 Spot 实例替换 DataRicks 集群中的按需或保留 EC2 实例,从而节省成本。\n\n**[Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail) gp3 卷**——存储可能是云基础设施成本的一大部分。Databricks 支持 gp3 卷([https://databricks.com/blog/2021/08/10/introducing-support-for-gp3-amazons-new-general-purpose-ssd-volume.html](https://databricks.com/blog/2021/08/10/introducing-support-for-gp3-amazons-new-general-purpose-ssd-volume.html))。[Amazon Elastic Block Store](https://aws.amazon.com/cn/ebs/?trk=cndc-detail)([Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail))的 gp3 SSD 卷使您能够提供独立于存储容量的性能,每 GB 的性价比比现有的 gp2 卷高20%。\n\n要了解有关性价比优化的更多信息,请阅读我们的群集最佳实践文档。([https://docs.databricks.com/clusters/cluster-config-best-practices.html?_ga=2.39323047.586000877.1650811897-1256218973.1650811879](https://docs.databricks.com/clusters/cluster-config-best-practices.html?_ga=2.39323047.586000877.1650811897-1256218973.1650811879))\n\n### **从 Graviton 开始**\n基于 Amazon Gravion2 的公共预览实例支持目前正在推出,并将在未来几周在所有受支持的地区提供。要开始并获得迁移到 Graviton 2 和 Photon 的指导,请阅读我们的 Graviton 文档([https://docs.databricks.com/clusters/graviton.html?_ga=2.5702327.586000877.1650811897-1256218973.1650811879](https://docs.databricks.com/clusters/graviton.html?_ga=2.5702327.586000877.1650811897-1256218973.1650811879))\n\n作者:Piyush Singh , Mostafa Mokhtar , Shankar Sivadasan\n2022年4月18日\n\n::: hljs-center\n\n![image.png](https://awsdevweb.s3.cn-north-1.amazonaws.com.cn/956e9248d42349abba03a30d3abfd8f3_image.png)\n\n:::\n\n\n","render":"<p>今天,我们很高兴地宣布 Databricks 对基于 Amazon Graviton2 的亚马逊弹性计算云(Amazon EC2)实例的支持的公开预览。Graviton 处理器由亚马逊云科技进行定制设计和优化,为运行在 Amazon EC2 上的云工作负载提供最佳性价比。当与高性能 DataRicks 查询引擎 Photon一起使用时,基于 Graviron2 的亚马逊 EC2 实例可以为您的 data lakehouse 工作负载提供比同类亚马逊 EC2 实例高3-4倍的性价比。在这篇博文中,我们将介绍 Photon 与 Graviton2的性价比,并为您提供进一步降低亚马逊云科技基础设施成本的其他建议。</p>\n<h3><a id=\\"Photon__Graviton2__2\\"></a><strong>Photon 和 Graviton2 的性价比</strong></h3>\\n<p>为了确定 Photon 和 Graviton2 的性价比,我们在基于 Graviton2 的 R6gd EC2 实例和类似的 I3 EC2 实例上进行了一个简单测试,运行两种不同的工作负载(TPC-DS 和带有批量插入和合并语句的标准 ETL 工作负载)。我们发现,对于 EC2 实例,仅 Photon 引擎就显著提高了性价比。但基于 Graviton2 的实例上的 Photon 更进一步,与 I3 实例上以前的 Databricks 运行时相比,ETL 工作负载的性价比提高了3.3倍,TPC-DS 工作负载的性价比提高了3.7倍。尝试基于 Graviton2 实例的客户报告了类似的结果,并分享了我们的兴奋!下面是一位 Databricks 客户的一句话,他碰巧对基于实例的 Arm 了如指掌。</p>\n<p>Arm 生产力工程业务副总裁 Mark Galbraith 说:“云计算正在推动半导体设计领域的重大创新,通过将我们的设计工作量转移到基于 Arm 的 Amazon Graviton2 实例上,提供显著的性价比提升,我们亲眼看到了 Arm Neoverse N1 平台带来的好处。”。“这一点对于 Graviton 2 上的 Databricks 尤为明显,我们期待着将 Databricks 的生产使用迁移到 Graviton 2 上,以进一步增强用户体验并降低成本。”</p>\n<div class=\\"hljs-center\\">\\n<p><img src=\\"https://awsdevweb.s3.cn-north-1.amazonaws.com.cn/f4b5f5b6e0aa4f75a16ce983560b4ec6_image.png\\" alt=\\"image.png\\" /><br />\\nPhoton 和 Graviton2 的性价比比较</p>\n</div>\\n<p>通过 Amazon EC2 Spot 实例和 Amazon EBS gp3 卷支持,进一步节约了成本</p>\n<p>除了 Graviton2 和 Photon 之外,还有其他方法可以提高 Amazon Web Services 上 Databricks 工作负载的性价比。这些措施包括:</p>\n<p><strong>Amazon EC2 Spot Instances</strong>–Spot Instances 可让您充分利用 EC2 的闲置容量,与按需价格相比,可享受高达 90% 的折扣。根据工作负载的性质,您可以使用 Spot 实例替换 DataRicks 集群中的按需或保留 EC2 实例,从而节省成本。</p>\\n<p><strong>Amazon EBS gp3 卷</strong>——存储可能是云基础设施成本的一大部分。Databricks 支持 gp3 卷(<a href=\\"https://databricks.com/blog/2021/08/10/introducing-support-for-gp3-amazons-new-general-purpose-ssd-volume.html\\" target=\\"_blank\\">https://databricks.com/blog/2021/08/10/introducing-support-for-gp3-amazons-new-general-purpose-ssd-volume.html</a>)。[Amazon Elastic Block Store](https://aws.amazon.com/cn/ebs/?trk=cndc-detail)([Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail))的 gp3 SSD 卷使您能够提供独立于存储容量的性能,每 GB 的性价比比现有的 gp2 卷高20%。</p>\\n<p>要了解有关性价比优化的更多信息,请阅读我们的群集最佳实践文档。(<a href=\\"https://docs.databricks.com/clusters/cluster-config-best-practices.html?_ga=2.39323047.586000877.1650811897-1256218973.1650811879\\" target=\\"_blank\\">https://docs.databricks.com/clusters/cluster-config-best-practices.html?_ga=2.39323047.586000877.1650811897-1256218973.1650811879</a>)</p>\\n<h3><a id=\\"_Graviton__25\\"></a><strong>从 Graviton 开始</strong></h3>\\n<p>基于 Amazon Gravion2 的公共预览实例支持目前正在推出,并将在未来几周在所有受支持的地区提供。要开始并获得迁移到 Graviton 2 和 Photon 的指导,请阅读我们的 Graviton 文档(<a href=\\"https://docs.databricks.com/clusters/graviton.html?_ga=2.5702327.586000877.1650811897-1256218973.1650811879\\" target=\\"_blank\\">https://docs.databricks.com/clusters/graviton.html?_ga=2.5702327.586000877.1650811897-1256218973.1650811879</a>)</p>\\n<p>作者:Piyush Singh , Mostafa Mokhtar , Shankar Sivadasan<br />\\n2022年4月18日</p>\n<div class=\\"hljs-center\\">\\n<p><img src=\\"https://awsdevweb.s3.cn-north-1.amazonaws.com.cn/956e9248d42349abba03a30d3abfd8f3_image.png\\" alt=\\"image.png\\" /></p>\n</div>\n"}
1
目录
关闭