宣布 Databricks 支持 Amazon Graviton2，性价比提高3倍

{"value":"今天，我们很高兴地宣布 Databricks 对基于 Amazon Graviton2 的亚马逊弹性计算云（Amazon EC2）实例的支持的公开预览。Graviton 处理器由亚马逊云科技进行定制设计和优化，为运行在 [Amazon EC2 ](https://aws.amazon.com/cn/ec2/?trk=cndc-detail)上的云工作负载提供最佳性价比。当与高性能 DataRicks 查询引擎 Photon一起使用时，基于 Graviron2 的亚马逊 EC2 实例可以为您的 data lakehouse 工作负载提供比同类亚马逊 EC2 实例高3-4倍的性价比。在这篇博文中，我们将介绍 Photon 与 Graviton2的性价比，并为您提供进一步降低亚马逊云科技基础设施成本的其他建议。\n\n### **Photon 和 Graviton2 的性价比**\n为了确定 Photon 和 Graviton2 的性价比，我们在基于 Graviton2 的 R6gd EC2 实例和类似的 I3 EC2 实例上进行了一个简单测试，运行两种不同的工作负载（TPC-DS 和带有批量插入和合并语句的标准 ETL 工作负载）。我们发现，对于 EC2 实例，仅 Photon 引擎就显著提高了性价比。但基于 Graviton2 的实例上的 Photon 更进一步，与 I3 实例上以前的 Databricks 运行时相比，ETL 工作负载的性价比提高了3.3倍，TPC-DS 工作负载的性价比提高了3.7倍。尝试基于 Graviton2 实例的客户报告了类似的结果，并分享了我们的兴奋！下面是一位 Databricks 客户的一句话，他碰巧对基于实例的 Arm 了如指掌。\n\nArm 生产力工程业务副总裁 Mark Galbraith 说：“云计算正在推动半导体设计领域的重大创新，通过将我们的设计工作量转移到基于 Arm 的 Amazon Graviton2 实例上，提供显著的性价比提升，我们亲眼看到了 Arm Neoverse N1 平台带来的好处。”。“这一点对于 Graviton 2 上的 Databricks 尤为明显，我们期待着将 Databricks 的生产使用迁移到 Graviton 2 上，以进一步增强用户体验并降低成本。”\n\n::: hljs-center\n\n\nPhoton 和 Graviton2 的性价比比较\n\n:::\n\n\n通过 [Amazon EC2 ](https://aws.amazon.com/cn/ec2/?trk=cndc-detail)Spot 实例和 [Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail) gp3 卷支持，进一步节约了成本\n\n除了 Graviton2 和 Photon 之外，还有其他方法可以提高 Amazon Web Services 上 Databricks 工作负载的性价比。这些措施包括：\n\n**[Amazon EC2 ](https://aws.amazon.com/cn/ec2/?trk=cndc-detail)Spot Instances**–Spot Instances 可让您充分利用 EC2 的闲置容量，与按需价格相比，可享受高达 90% 的折扣。根据工作负载的性质，您可以使用 Spot 实例替换 DataRicks 集群中的按需或保留 EC2 实例，从而节省成本。\n\n**[Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail) gp3 卷**——存储可能是云基础设施成本的一大部分。Databricks 支持 gp3 卷（[https://databricks.com/blog/2021/08/10/introducing-support-for-gp3-amazons-new-general-purpose-ssd-volume.html](https://databricks.com/blog/2021/08/10/introducing-support-for-gp3-amazons-new-general-purpose-ssd-volume.html)）。[Amazon Elastic Block Store](https://aws.amazon.com/cn/ebs/?trk=cndc-detail)（[Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail)）的 gp3 SSD 卷使您能够提供独立于存储容量的性能，每 GB 的性价比比现有的 gp2 卷高20%。\n\n要了解有关性价比优化的更多信息，请阅读我们的群集最佳实践文档。（[https://docs.databricks.com/clusters/cluster-config-best-practices.html?_ga=2.39323047.586000877.1650811897-1256218973.1650811879](https://docs.databricks.com/clusters/cluster-config-best-practices.html?_ga=2.39323047.586000877.1650811897-1256218973.1650811879)）\n\n### **从 Graviton 开始**\n基于 Amazon Gravion2 的公共预览实例支持目前正在推出，并将在未来几周在所有受支持的地区提供。要开始并获得迁移到 Graviton 2 和 Photon 的指导，请阅读我们的 Graviton 文档（[https://docs.databricks.com/clusters/graviton.html?_ga=2.5702327.586000877.1650811897-1256218973.1650811879](https://docs.databricks.com/clusters/graviton.html?_ga=2.5702327.586000877.1650811897-1256218973.1650811879)）\n\n作者：Piyush Singh , Mostafa Mokhtar , Shankar Sivadasan\n2022年4月18日\n\n::: hljs-center\n\n\n\n:::\n\n\n","render":"<p>今天，我们很高兴地宣布 Databricks 对基于 Amazon Graviton2 的亚马逊弹性计算云（Amazon EC2）实例的支持的公开预览。Graviton 处理器由亚马逊云科技进行定制设计和优化，为运行在 Amazon EC2 上的云工作负载提供最佳性价比。当与高性能 DataRicks 查询引擎 Photon一起使用时，基于 Graviron2 的亚马逊 EC2 实例可以为您的 data lakehouse 工作负载提供比同类亚马逊 EC2 实例高3-4倍的性价比。在这篇博文中，我们将介绍 Photon 与 Graviton2的性价比，并为您提供进一步降低亚马逊云科技基础设施成本的其他建议。</p>\n<h3><a id=\\"Photon__Graviton2__2\\"></a><strong>Photon 和 Graviton2 的性价比</strong></h3>\\n<p>为了确定 Photon 和 Graviton2 的性价比，我们在基于 Graviton2 的 R6gd EC2 实例和类似的 I3 EC2 实例上进行了一个简单测试，运行两种不同的工作负载（TPC-DS 和带有批量插入和合并语句的标准 ETL 工作负载）。我们发现，对于 EC2 实例，仅 Photon 引擎就显著提高了性价比。但基于 Graviton2 的实例上的 Photon 更进一步，与 I3 实例上以前的 Databricks 运行时相比，ETL 工作负载的性价比提高了3.3倍，TPC-DS 工作负载的性价比提高了3.7倍。尝试基于 Graviton2 实例的客户报告了类似的结果，并分享了我们的兴奋！下面是一位 Databricks 客户的一句话，他碰巧对基于实例的 Arm 了如指掌。</p>\n<p>Arm 生产力工程业务副总裁 Mark Galbraith 说：“云计算正在推动半导体设计领域的重大创新，通过将我们的设计工作量转移到基于 Arm 的 Amazon Graviton2 实例上，提供显著的性价比提升，我们亲眼看到了 Arm Neoverse N1 平台带来的好处。”。“这一点对于 Graviton 2 上的 Databricks 尤为明显，我们期待着将 Databricks 的生产使用迁移到 Graviton 2 上，以进一步增强用户体验并降低成本。”</p>\n<div class=\\"hljs-center\\">\\n<p><img src=\\"https://awsdevweb.s3.cn-north-1.amazonaws.com.cn/f4b5f5b6e0aa4f75a16ce983560b4ec6_image.png\\" alt=\\"image.png\\" /><br />\\nPhoton 和 Graviton2 的性价比比较</p>\n</div>\\n<p>通过 Amazon EC2 Spot 实例和 Amazon EBS gp3 卷支持，进一步节约了成本</p>\n<p>除了 Graviton2 和 Photon 之外，还有其他方法可以提高 Amazon Web Services 上 Databricks 工作负载的性价比。这些措施包括：</p>\n<p><strong>Amazon EC2 Spot Instances</strong>–Spot Instances 可让您充分利用 EC2 的闲置容量，与按需价格相比，可享受高达 90% 的折扣。根据工作负载的性质，您可以使用 Spot 实例替换 DataRicks 集群中的按需或保留 EC2 实例，从而节省成本。</p>\\n<p><strong>Amazon EBS gp3 卷</strong>——存储可能是云基础设施成本的一大部分。Databricks 支持 gp3 卷（<a href=\\"https://databricks.com/blog/2021/08/10/introducing-support-for-gp3-amazons-new-general-purpose-ssd-volume.html\\" target=\\"_blank\\">https://databricks.com/blog/2021/08/10/introducing-support-for-gp3-amazons-new-general-purpose-ssd-volume.html</a>）。[Amazon Elastic Block Store](https://aws.amazon.com/cn/ebs/?trk=cndc-detail)（[Amazon EBS](https://aws.amazon.com/cn/ebs/?trk=cndc-detail)）的 gp3 SSD 卷使您能够提供独立于存储容量的性能，每 GB 的性价比比现有的 gp2 卷高20%。</p>\\n<p>要了解有关性价比优化的更多信息，请阅读我们的群集最佳实践文档。（<a href=\\"https://docs.databricks.com/clusters/cluster-config-best-practices.html?_ga=2.39323047.586000877.1650811897-1256218973.1650811879\\" target=\\"_blank\\">https://docs.databricks.com/clusters/cluster-config-best-practices.html?_ga=2.39323047.586000877.1650811897-1256218973.1650811879</a>）</p>\\n<h3><a id=\\"_Graviton__25\\"></a><strong>从 Graviton 开始</strong></h3>\\n<p>基于 Amazon Gravion2 的公共预览实例支持目前正在推出，并将在未来几周在所有受支持的地区提供。要开始并获得迁移到 Graviton 2 和 Photon 的指导，请阅读我们的 Graviton 文档（<a href=\\"https://docs.databricks.com/clusters/graviton.html?_ga=2.5702327.586000877.1650811897-1256218973.1650811879\\" target=\\"_blank\\">https://docs.databricks.com/clusters/graviton.html?_ga=2.5702327.586000877.1650811897-1256218973.1650811879</a>）</p>\\n<p>作者：Piyush Singh , Mostafa Mokhtar , Shankar Sivadasan<br />\\n2022年4月18日</p>\n<div class=\\"hljs-center\\">\\n<p><img src=\\"https://awsdevweb.s3.cn-north-1.amazonaws.com.cn/956e9248d42349abba03a30d3abfd8f3_image.png\\" alt=\\"image.png\\" /></p>\n</div>\n"}