Alluxio Local Cache 监控指南

{"value":"> 作者\n张策：Alluxio PMC & 联通大数据工程师\n# 01 什么是 Alluxio Local Cache\n随着云计算在基础设施领域的市场份额持续上升，主流数据分析引擎纷纷选择独立扩展存储、计算来适配云基础设施，并以此为云提供商降低成本。但是，存储计算分离也为查询延迟带来了新的挑战，因为当网络饱和时，通过网络扫描大量数据将受到 IO 限制。此外，元数据也面临远程网络来检索的性能问题。\n\n数据编排系统 Alluxio 预见到了存算分离的发展趋势，并通过分布式缓存服务为 Presto、Spark 等引擎加速查询性能。为了在存算分离架构中实现亚秒级的查询延迟，Alluxio 和 Presto 的核心团队合作实现了客户端嵌入式缓存库 Alluxio Local Cache，来进一步减少数据分析引擎和 Alluxio 之间的通信开销。\n\n**相关博客如下：**\n\nAlluxio Data Caching : [prestodb.io/blog/2020/0](https://prestodb.io/blog/2020/06/16/alluxio-datacaching)\n\nPresto RaptorX : [ https://prestodb.io/blog/2020/0](https://prestodb.io/blog/2020/06/16/alluxio-datacaching)\n\n# 02 Alluxio Local Cache 配置与启用\n2021 年大部分时间 Local Cache 仅支持 Presto Hive Connector，并已经得到大规模应用。社区于2021年底新增了Local Cache 对 Presto Iceberg Connector 的支持，相关内容将在之后的博客做深入介绍。\n\n如何在 Presto on Hive 场景配置、启用 Local Cache：\n\n1. Presto 配置文件：etc/catalog/hive.properties\n\n```\\nhive.node-selection-strategy=SOFT_AFFINITY\\n```\n\n2.修改 Presto 配置文件：etc/catalog/hive.properties，缓存路径推荐配置为 Ramdisk 或 SSD 来达到最佳效果。\n\n```\\ncache.enabled=true\\ncache.base-directory=file:///mnt/flash/data\\ncache.type=ALLUXIO\\ncache.alluxio.max-cache-size=1600GB\\n```\n\n3. 启动 Presto\n\nTips：除数据缓存（Data cache）外，其他缓存功能为实验特性。\n\n# 03 如何监控 Local Cache\n为了提升 Local Cache 的可观测性，我们可以通过 prometheus jmx exporter 将 Worker 的指标暴露出来，使用 prometheus 采集后做进一步分析。\n\n**监控配置与启用**\n\n1.新增jmx_prometheus_config.yaml配置文件\n\n```\\nglobal:\\n scrape_interval: 15s\\n evaluation_interval: 15s\\n```\n\n2.下载jmx_prometheus_javaagent-.jar，简称jmx_prometheus_javaagent.jar\n\n3.presto jvm.config 配置中新增\n\n```\\n-javaagent://jmx_prometheus_javaagent.jar=://jmx_prometheus_config.yaml\\n```\n\n4.重启 Presto\n\n5.访问 http://<presto_worker>:port/ 查询是否配置成功\\n\\n6.将指标接入 prometheus，在 promethues 配置文件中新增\\n\\n```\\nscrape_configs:\\n - job_name: \\"presto_local_cache\\"\\n scrape_interval: 15s\\n static_configs:\\n - targets: [\\":\\"]\\n labels:\\n appname: \\"presto_local_cache\\"\\n```\\n\\n**指标解析**\\n\\nAlluxio Local Cache开放了众多监控指标，以下指标是描述缓存使用情况的基础指标，用户需要重点关注：\\n\\n缓存命中率\\n\\ncom_facebook_alluxio_Client_CacheHitRate_<HOST>_Value\\n\\n缓存访问量：\\n\\ncom_facebook_alluxio_Client_CacheBytesReadCache_<HOST>_OneMinuteRate\\ncom_facebook_alluxio_Client_CacheBytesReadCache_<HOST>_FiveMinuteRate\\ncom_facebook_alluxio_Client_CacheBytesReadCache_<HOST>_FifteenMinuteRate\\ncom_facebook_alluxio_Client_CacheBytesReadCache_<HOST>_Count\\n\\n缓存未命中后，外部系统访问量\\n\\ncom_facebook_alluxio_Client_CacheBytesReadExternal_<HOST>_OneMinuteRate\\ncom_facebook_alluxio_Client_CacheBytesReadExternal_<HOST>_FiveMinuteRate\\ncom_facebook_alluxio_Client_CacheBytesReadExternal_<HOST>_FifteenMinuteRate\\ncom_facebook_alluxio_Client_CacheBytesReadExternal_<HOST>_Count\\n\\n缓存空间使用量\\n\\ncom_facebook_alluxio_Client_CacheSpaceUsed_<HOST>_Number\\n\\n缓存空间剩余量\\n\\ncom_facebook_alluxio_Client_CacheSpaceAvailable_<HOST>_Value\\n\\n缓存页数目\\n\\nPS：在LOCAL模式下每个页存储为一个文件，当缓存存储在机械磁盘上时需要重点关注。不推荐使用机械磁盘作为LOCAL模式缓存存储，推荐使用SSD或者Ramdisk\\n\\ncom_facebook_alluxio_Client_CachePages_<HOST>_Count\\n","render":"<blockquote>\\n<p>作者<br />\\n张策：Alluxio PMC &amp; 联通大数据工程师</p>\n</blockquote>\\n<h1><a id=\\"01__Alluxio_Local_Cache_2\\"></a>01 什么是 Alluxio Local Cache</h1>\\n<p>随着云计算在基础设施领域的市场份额持续上升，主流数据分析引擎纷纷选择独立扩展存储、计算来适配云基础设施，并以此为云提供商降低成本。但是，存储计算分离也为查询延迟带来了新的挑战，因为当网络饱和时，通过网络扫描大量数据将受到 IO 限制。此外，元数据也面临远程网络来检索的性能问题。</p>\n<p>数据编排系统 Alluxio 预见到了存算分离的发展趋势，并通过分布式缓存服务为 Presto、Spark 等引擎加速查询性能。为了在存算分离架构中实现亚秒级的查询延迟，Alluxio 和 Presto 的核心团队合作实现了客户端嵌入式缓存库 Alluxio Local Cache，来进一步减少数据分析引擎和 Alluxio 之间的通信开销。</p>\n<p><strong>相关博客如下：</strong></p>\\n<p>Alluxio Data Caching : <a href=\\"https://prestodb.io/blog/2020/06/16/alluxio-datacaching\\" target=\\"_blank\\">prestodb.io/blog/2020/0</a></p>\\n<p>Presto RaptorX : <a href=\\"https://prestodb.io/blog/2020/06/16/alluxio-datacaching\\" target=\\"_blank\\"> https://prestodb.io/blog/2020/0</a></p>\\n<h1><a id=\\"02_Alluxio_Local_Cache__13\\"></a>02 Alluxio Local Cache 配置与启用</h1>\\n<p>2021 年大部分时间 Local Cache 仅支持 Presto Hive Connector，并已经得到大规模应用。社区于2021年底新增了Local Cache 对 Presto Iceberg Connector 的支持，相关内容将在之后的博客做深入介绍。</p>\n<p>如何在 Presto on Hive 场景配置、启用 Local Cache：</p>\n<ol>\\n<li>Presto 配置文件：etc/catalog/hive.properties</li>\n</ol>\\n<pre><code class=\\"lang-\\">hive.node-selection-strategy=SOFT_AFFINITY\\n</code></pre>\\n<p>2.修改 Presto 配置文件：etc/catalog/hive.properties，缓存路径推荐配置为 Ramdisk 或 SSD 来达到最佳效果。</p>\n<pre><code class=\\"lang-\\">cache.enabled=true\\ncache.base-directory=file:///mnt/flash/data\\ncache.type=ALLUXIO\\ncache.alluxio.max-cache-size=1600GB\\n</code></pre>\\n<ol start=\\"3\\">\\n<li>启动 Presto</li>\n</ol>\\n<p>Tips：除数据缓存（Data cache）外，其他缓存功能为实验特性。</p>\n<h1><a id=\\"03__Local_Cache_37\\"></a>03 如何监控 Local Cache</h1>\\n<p>为了提升 Local Cache 的可观测性，我们可以通过 prometheus jmx exporter 将 Worker 的指标暴露出来，使用 prometheus 采集后做进一步分析。</p>\n<p><strong>监控配置与启用</strong></p>\\n<p>1.新增jmx_prometheus_config.yaml配置文件</p>\n<pre><code class=\\"lang-\\">global:\\n scrape_interval: 15s\\n evaluation_interval: 15s\\n</code></pre>\\n<p>2.下载jmx_prometheus_javaagent-.jar，简称jmx_prometheus_javaagent.jar</p>\n<p>3.presto jvm.config 配置中新增</p>\n<pre><code class=\\"lang-\\">-javaagent://jmx_prometheus_javaagent.jar=://jmx_prometheus_config.yaml\\n</code></pre>\\n<p>4.重启 Presto</p>\n<p>5.访问 http://&lt;presto_worker&gt;:port/ 查询是否配置成功</p>\n<p>6.将指标接入 prometheus，在 promethues 配置文件中新增</p>\n<pre><code class=\\"lang-\\">scrape_configs:\\n - job_name: &quot;presto_local_cache&quot;\\n scrape_interval: 15s\\n static_configs:\\n - targets: [&quot;:&quot;]\\n labels:\\n appname: &quot;presto_local_cache&quot;\\n</code></pre>\\n<p><strong>指标解析</strong></p>\\n<p>Alluxio Local Cache开放了众多监控指标，以下指标是描述缓存使用情况的基础指标，用户需要重点关注：</p>\n<p>缓存命中率</p>\n<p>com_facebook_alluxio_Client_CacheHitRate_&lt;HOST&gt;_Value<br />\\n<img src=\\"https://dev-media.amazoncloud.cn/e3019d48df19419ba1164657df2ff1eb_image.png\\" alt=\\"image.png\\" /><br />\\n缓存访问量：</p>\n<p>com_facebook_alluxio_Client_CacheBytesReadCache_&lt;HOST&gt;<em>OneMinuteRate<br />\\ncom_facebook_alluxio_Client_CacheBytesReadCache</em>&lt;HOST&gt;<em>FiveMinuteRate<br />\\ncom_facebook_alluxio_Client_CacheBytesReadCache</em>&lt;HOST&gt;<em>FifteenMinuteRate<br />\\ncom_facebook_alluxio_Client_CacheBytesReadCache</em>&lt;HOST&gt;_Count<br />\\n<img src=\\"https://dev-media.amazoncloud.cn/163f6dacc6944310a1898c59bfd9e0f6_image.png\\" alt=\\"image.png\\" /><br />\\n缓存未命中后，外部系统访问量</p>\n<p>com_facebook_alluxio_Client_CacheBytesReadExternal_&lt;HOST&gt;<em>OneMinuteRate<br />\\ncom_facebook_alluxio_Client_CacheBytesReadExternal</em>&lt;HOST&gt;<em>FiveMinuteRate<br />\\ncom_facebook_alluxio_Client_CacheBytesReadExternal</em>&lt;HOST&gt;<em>FifteenMinuteRate<br />\\ncom_facebook_alluxio_Client_CacheBytesReadExternal</em>&lt;HOST&gt;_Count<br />\\n<img src=\\"https://dev-media.amazoncloud.cn/e1f691f13969405d93b86949b0d83194_image.png\\" alt=\\"image.png\\" /><br />\\n缓存空间使用量</p>\n<p>com_facebook_alluxio_Client_CacheSpaceUsed_&lt;HOST&gt;_Number<br />\\n<img src=\\"https://dev-media.amazoncloud.cn/f89d075bb20a48b38ddc0435a3b35fa6_image.png\\" alt=\\"image.png\\" /><br />\\n缓存空间剩余量</p>\n<p>com_facebook_alluxio_Client_CacheSpaceAvailable_&lt;HOST&gt;_Value<br />\\n<img src=\\"https://dev-media.amazoncloud.cn/2e82c6f1bd44423db40cd58ae7e9f99a_image.png\\" alt=\\"image.png\\" /><br />\\n缓存页数目</p>\n<p>PS：在LOCAL模式下每个页存储为一个文件，当缓存存储在机械磁盘上时需要重点关注。不推荐使用机械磁盘作为LOCAL模式缓存存储，推荐使用SSD或者Ramdisk</p>\n<p>com_facebook_alluxio_Client_CachePages_&lt;HOST&gt;_Count<br />\\n<img src=\\"https://dev-media.amazoncloud.cn/0dc0f30d0056420bb97c87d742c03a6b_image.png\\" alt=\\"image.png\\" /></p>\n"}