Alluxio为Presto赋能跨云的自助服务能力

{"value":"本文重点介绍两大流行开源项目**Alluxio** 和 **Presto**之间的协同作用，并展示如何利用两者实现跨云自助服务数据架构。\n\n> 作者介绍\n范斌 Alluxio VP Open Source and Founding Member\nAdit Madan Alluxio Senior Product Manager\nJasmine Wang Alluxio Community Manager\n# 什么样的架构能够称之拥有自助服务能力？\n我们先来探讨一个问题，满足什么条件，这个架构才能称得上是自助服务。\n\n## 条件1：随着数据平台的更新换代，架构无需修改\n\n所有的数据平台都会随着时间的推移而演进，包括增加新的数据存储、计算引擎，或者有新的团队需要访问共享数据。无论哪种情况，如果这些变化而不需要对现有架构进行修改，则这样的平台是能够自助服务。\n\n## 条件2：跨团队的数据隔离\n\n有了自助服务平台，业务部门之间不会互相干扰。当有新团队加入时，数据可以共享，新增的数据访问不会影响原有平台的使用。\n\n如果能满足上述两个条件，也就实现了敏捷性。在设计架构的时候，考虑能否实现自助式服务比考虑物理架构的成本更重要。\n\n# 设计数据平台的考虑因素\n下面，我们将介绍设计自助服务平台时的部分考虑因素，以及简化的架构模式和解决方案。\n\n## 考量1：数据是共享的\n\n在不同的计算框架之间共享数据\n\n企业在数据平台中会使用各类计算引擎，每个引擎都完成某个特定的任务，例如，先进行ETL批处理，然后用Presto进行交互式查询。这就意味数据要在不同引擎、不同的团队之间共享\n例如，一个团队负责收集业务数据，数据共享给多个业务部门使用\n跨区域的数据中心以及跨云厂商共享数据\n\n这样可以灵活地选择最优的存储环境和云服务\n如何在解决数据共享问题，我们提出一个抽象层的概念，利用抽象层实现跨跨环境的异构计算。Alluxio正是提供了这样的跨云抽象层，无论数据存储在哪里，都能让Presto和其他计算引擎之间实现无缝数据共享。\n\n\n## 考量2：数据拥有所属的业务领域，最简单的方式是留在原地处理\n\n虽然拷贝能实现数据隔离，但当数据访问策略十分严格时，需要对数据生产者对数据的使用需要严格控制，整个数据治理会变得非常复杂。\n数据拷贝导致存储空间冗余，容易出错，占用很多的资源。\n拷贝数据显然不是理想的解决方案，但如何在不移动数据的情况下对异构的数据访问实现高性能？这就需要通过抽象层来解决数据治理、性能和跨业务移动数据的问题。\n\n下面的架构展示Presto如何利用Alluxio作为抽象层来访问位于不同存储环境的数据。\n\n\n一般会遇到这两种情况：\n\n全部数据都在单云或单个数据中心中\n数据在多个数据中心或混合云中共享\n不管哪种情况，Alluxio都能作为抽象层来实现数据使用者和生产者的隔离。抽象层并非仅仅用作缓存，事先的预加载和写入能力可以确保即使是在数据与计算分离的情况下, SLA也能保持一致。\n\n\n**结论**\nAlluxio为Presto赋能了自助服务的能力，通过Alluxio可实现跨云的自助服务数据架构，整个架构能够更好地适应数据平台的演进。如果想要了解更多信息，可查看白皮书[《Alluxio+Presto概述——交互式查询的架构演变》](《Alluxio+Presto概述——交互式查询的架构演变》)，了解Facebook、TikTok、Electronic Arts、沃尔玛、腾讯、Comcast等公司如何利用Alluxio优化Presto平台。","render":"<p>本文重点介绍两大流行开源项目<strong>Alluxio</strong> 和 <strong>Presto</strong>之间的协同作用，并展示如何利用两者实现跨云自助服务数据架构。</p>\n<blockquote>\n<p>作者介绍<br />\n范斌 Alluxio VP Open Source and Founding Member<br />\nAdit Madan Alluxio Senior Product Manager<br />\nJasmine Wang Alluxio Community Manager</p>\n</blockquote>\n<h1><a id=\"_6\"></a>什么样的架构能够称之拥有自助服务能力？</h1>\n<p>我们先来探讨一个问题，满足什么条件，这个架构才能称得上是自助服务。</p>\n<h2><a id=\"1_9\"></a>条件1：随着数据平台的更新换代，架构无需修改</h2>\n<p>所有的数据平台都会随着时间的推移而演进，包括增加新的数据存储、计算引擎，或者有新的团队需要访问共享数据。无论哪种情况，如果这些变化而不需要对现有架构进行修改，则这样的平台是能够自助服务。</p>\n<h2><a id=\"2_13\"></a>条件2：跨团队的数据隔离</h2>\n<p>有了自助服务平台，业务部门之间不会互相干扰。当有新团队加入时，数据可以共享，新增的数据访问不会影响原有平台的使用。</p>\n<p>如果能满足上述两个条件，也就实现了敏捷性。在设计架构的时候，考虑能否实现自助式服务比考虑物理架构的成本更重要。</p>\n<h1><a id=\"_19\"></a>设计数据平台的考虑因素</h1>\n<p>下面，我们将介绍设计自助服务平台时的部分考虑因素，以及简化的架构模式和解决方案。</p>\n<h2><a id=\"1_22\"></a>考量1：数据是共享的</h2>\n<p>在不同的计算框架之间共享数据</p>\n<p>企业在数据平台中会使用各类计算引擎，每个引擎都完成某个特定的任务，例如，先进行ETL批处理，然后用Presto进行交互式查询。这就意味数据要在不同引擎、不同的团队之间共享<br />\n例如，一个团队负责收集业务数据，数据共享给多个业务部门使用<br />\n跨区域的数据中心以及跨云厂商共享数据</p>\n<p>这样可以灵活地选择最优的存储环境和云服务<br />\n如何在解决数据共享问题，我们提出一个抽象层的概念，利用抽象层实现跨跨环境的异构计算。Alluxio正是提供了这样的跨云抽象层，无论数据存储在哪里，都能让Presto和其他计算引擎之间实现无缝数据共享。<br />\n<img src=\"https://dev-media.amazoncloud.cn/af42e4554c19448d85dee9ee6de80747_image.png\" alt=\"image.png\" /></p>\n<h2><a id=\"2_34\"></a>考量2：数据拥有所属的业务领域，最简单的方式是留在原地处理</h2>\n<p>虽然拷贝能实现数据隔离，但当数据访问策略十分严格时，需要对数据生产者对数据的使用需要严格控制，整个数据治理会变得非常复杂。<br />\n数据拷贝导致存储空间冗余，容易出错，占用很多的资源。<br />\n拷贝数据显然不是理想的解决方案，但如何在不移动数据的情况下对异构的数据访问实现高性能？这就需要通过抽象层来解决数据治理、性能和跨业务移动数据的问题。</p>\n<p>下面的架构展示Presto如何利用Alluxio作为抽象层来访问位于不同存储环境的数据。<br />\n<img src=\"https://dev-media.amazoncloud.cn/3c9fbe05ab7240e3829f915fd5bce082_image.png\" alt=\"image.png\" /></p>\n<p>一般会遇到这两种情况：</p>\n<p>全部数据都在单云或单个数据中心中<br />\n数据在多个数据中心或混合云中共享<br />\n不管哪种情况，Alluxio都能作为抽象层来实现数据使用者和生产者的隔离。抽象层并非仅仅用作缓存，事先的预加载和写入能力可以确保即使是在数据与计算分离的情况下, SLA也能保持一致。<br />\n<img src=\"https://dev-media.amazoncloud.cn/b1117eacef534e3386d9dcf551c8c7aa_image.png\" alt=\"image.png\" /></p>\n<p><strong>结论</strong><br />\nAlluxio为Presto赋能了自助服务的能力，通过Alluxio可实现跨云的自助服务数据架构，整个架构能够更好地适应数据平台的演进。如果想要了解更多信息，可查看白皮书<a href=\"%E3%80%8AAlluxio+Presto%E6%A6%82%E8%BF%B0%E2%80%94%E2%80%94%E4%BA%A4%E4%BA%92%E5%BC%8F%E6%9F%A5%E8%AF%A2%E7%9A%84%E6%9E%B6%E6%9E%84%E6%BC%94%E5%8F%98%E3%80%8B\" target=\"_blank\">《Alluxio+Presto概述——交互式查询的架构演变》</a>，了解Facebook、TikTok、Electronic Arts、沃尔玛、腾讯、Comcast等公司如何利用Alluxio优化Presto平台。</p>\n"}