Amazon EMR Serverless 现全面推出 — 无需管理服务器即可运行大数据应用程序

{"value":"在 Amazon re: Invent 2021 上，我们为我们的数据分析服务推出了三种新的[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)选项 — [Amazon EMR Serverless](https://aws.amazon.com/blogs/big-data/announcing-amazon-emr-serverless-preview-run-big-data-applications-without-managing-servers/)、 [Amazon Redshift Serverless](https://aws.amazon.com/blogs/aws/introducing-amazon-redshift-serverless-run-analytics-at-any-scale-without-having-to-manage-infrastructure/) 和 [Amazon MSK Serverless](https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-msk-serverless-public-preview/) — 这使得任何规模的数据分析都变得更加容易，无需配置、扩展或管理底层基础设施。\n\n今天，我们宣布正式全面推出 [Amazon EMR Serverless](https://aws.amazon.com/emr/serverless/)，这是一种[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)部署选项，客户可以使用 Apache Spark 和 Hive 等开源框架运行大数据分析应用程序，而无需配置、管理和扩展集群或服务器。\n\n\n\n借助 EMR Serverless，您可以运行任何规模的分析工作负载，自动扩展可在几秒钟内调整资源大小，以满足不断变化的数据量和处理要求。EMR Serverless 可自动向上和向下扩展资源，为您的应用程序提供恰到好处的容量，而您只需按实际使用量付费。在预览版期间，客户向我们反馈，表示 EMR Serverless 很具性价比，因为他们不必为应对需求高峰而过度配置资源，避免了额外成本的产生。他们不必操心调整实例大小或应用操作系统更新，可以专注于更快地将产品推向市场。[Amazon EMR](https://aws.amazon.com/cn/emr/?trk=cndc-detail) 提供各种部署选项来运行应用程序以满足各种需求，例如 [Amazon Elastic Compute Cloud](http://aws.amazon.com/ec2) (Amazon EC2) 上的 EMR 集群、 [Amazon Elastic Kubernetes Service](https://aws.amazon.com/blogs/aws/new-amazon-emr-on-amazon-elastic-kubernetes-service-eks/) ([Amazon EKS](https://aws.amazon.com/cn/eks/?trk=cndc-detail)) 集群、 [Amazon Outposts](https://aws.amazon.com/outposts) 或 [EMR Serverless](https://aws.amazon.com/emr/serverless/)。\n\n- [Amazon EC2 ](https://aws.amazon.com/cn/ec2/?trk=cndc-detail)集群上的 EMR 适用于对应用程序运行要求最大的控制和灵活性的客户。借助 EMR 集群，客户可以选择 EC2 实例类型来增强某些应用程序的性能，自定义 Amazon 机器映像 (AMI)，选择 EC2 实例配置，自定义和扩展开源框架，以及在集群实例上安装其他自定义软件。\n- [Amazon EKS](https://aws.amazon.com/cn/eks/?trk=cndc-detail) 上的 EMR 适用于希望在 EKS 上实现标准化以跨应用程序管理集群或在同一集群上使用不同版本的开源框架的客户。\n- Amazon Outposts 上的 EMR 适用于希望在 Outpost 内距离其数据中心更近的位置运行 EMR 的客户。\n- EMR Serverless 适用于希望避免管理和操作集群，仅使用开源框架运行应用程序的客户。\n\n当您使用 EMR 版本构建应用程序（例如使用 EMR 6.4 版本进行 Spark 作业）时，可以选择在 EMR 集群、EKS 上的 EMR 或 EMR Serverless 上运行该应用程序，无需重新编写应用程序。这使您能够为给定的框架版本构建应用程序，并保留灵活性，以便根据未来运营需求更改部署模式。\n\n**++[Amazon EMR](https://aws.amazon.com/cn/emr/?trk=cndc-detail) Serverless 入门++**\n\n要开始使用 EMR Serverless，您可以使用 [Amazon EMR Studio](https://aws.amazon.com/emr/features/studio/)，这是一项免费的 EMR 功能，可提供端到端的开发和调试体验。借助 EMR Studio，您可以创建 EMR Serverless 应用程序（Spark 或 Hive），为您的应用程序选择开源软件的版本，提交作业，检查正在运行的作业的状态，以及调用 Spark UI 或 Tez UI 以进行作业诊断。\n\n在 [EMR Serverless 控制台](https://console.aws.amazon.com/emr/home#/serverless)中选择**入门**按钮后，您可以使用预配置的 EMR Serverless 应用程序创建和设置 EMR Studio。\n\n\n\n在 EMR Studio 中，当您在“Serverless”菜单中选择**应用程序**时，可以创建一个或多个 EMR Serverless 应用程序，然后为您的使用案例选择开源框架和版本。如果您想要单独的逻辑环境用于测试和生产或用于不同的业务线使用案例，则可以为每个逻辑环境创建单独的应用程序。\n\nEMR Serverless 应用程序结合了 (a) 您希望用于开源框架版本的 [EMR 发行版本](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/release-versions.html)和 (b) 您希望应用程序使用的特定运行时，例如 Apache Spark 或 Apache Hive。\n\n\n\n选择**创建应用程序**时，可以设置 Spark 或 Hive 应用程序的**名称**、**类型**以及支持的**发行**版本。您还可以为预初始化容量、应用程序限制和 [Amazon Virtual Private Cloud](https://aws.amazon.com/vpc) ([Amazon VPC](https://aws.amazon.com/cn/vpc/?trk=cndc-detail)) 连接选项选择默认或自定义设置的选项。每个 EMR Serverless 应用程序都与其他应用程序分隔开，并在安全的 VPC 中运行。\n\n如果要立即启动作业，请使用默认选项。但是，在应用程序启动后，每个工作线程都会收取费用。要了解有关预初始化容量的更多信息，请参阅[配置和管理预初始化容量](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/application-capacity-api.html)。\n\n\n\n选择**启动应用程序**后，您的应用程序将设置为以 1 个 Spark 驱动程序加 1 个 Spark 执行程序的预初始化容量启动。默认情况下，您的应用程序配置为在作业提交后启动，在应用程序空闲状态超过 15 分钟时停止。\n\n您可以通过选择**选择自定义设置**来自定义这些设置并设置不同的应用程序限制。\n\n\n\n在**作业运行**菜单中，您可以看到应用程序的运行作业列表。\n\n\n\n选择**提交作业**并设置作业详细信息，例如名称、作业使用的 [Amazon Identity and Access Management](http://aws.amazon.com/iam) (IAM) 角色、脚本位置以及您希望运行的 [Amazon Simple Storage Service](http://aws.amazon.com/s3) ([Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)) 存储桶中的 JAR 或 Python 脚本参数。\n\n如果您希望将 Spark 或 Hive 作业的日志提交到 S3 存储桶，则需要在运行 EMR Serverless 作业的同一区域中设置 S3 存储桶。\n\n\n\n（可选）您可以设置可为每个作业指定的其他配置属性，例如 Spark 属性、覆盖应用程序默认配置的作业配置（例如将 Amazon Glue 数据目录用作其元存储）、将日志存储到 [Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail) 以及将日志保留 30 天。\n\n以下是使用 ```StartJobRun``` API 运行 Python 脚本的示例。\n\nBash\n```\\n\$ aws emr-serverless start-job-run \\\\\\n --application-id <application_id> \\\\\\n --execution-role-arn <iam_role_arn> \\\\\\n --job-driver '{\\n \\"sparkSubmit\\": {\\n \\"entryPoint\\": \\"s3://spark-scripts/scripts/spark-etl.py\\",\\n \\"entryPointArguments\\": \\"s3://spark-scripts/output\\",\\n \\"sparkSubmitParameters\\": \\"--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1\\"\\n }\\n }' \\\\\\n --configuration-overrides '{\\n \\"monitoringConfiguration\\": {\\n \\"s3MonitoringConfiguration\\": {\\n \\"logUri\\": \\"s3://spark-scripts/logs/\\"\\n }\\n }\\n }'\\n```\n\n您可以在 S3 存储桶中查看任务结果。有关详细信息，您可以使用适用于 Spark 应用程序的 Spark UI 和**作业运行**菜单中的 Hive/Tez UI 来了解作业的运行方式，或者在作业失败时如何对其进行调试。\n\n\n\n要进行更多调试，EMR Serverless 会将事件日志推送到 Spark 应用程序的 S3 日志目标位置中的 ```sparklogs``` 文件夹中。对于 Hive 应用程序，EMR Serverless 会持续将 Hive 驱动程序和 Tez 任务日志上传到 S3 日志目标位置的 ```HIVE_DRIVER``` 或 ```TEZ_TASK``` 文件夹中。要了解更多信息，请参阅 Amazon 文档中的[日志记录](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/logging.html)。\n\n**++注意事项++**\n\n使用 EMR Serverless，您可以获得运行 [Amazon EMR](https://aws.amazon.com/cn/emr/?trk=cndc-detail) 的所有好处。我想从预览版公告的 [Amazon 大数据博客](https://aws.amazon.com/blogs/big-data/announcing-amazon-emr-serverless-preview-run-big-data-applications-without-managing-servers/)中引用一些关于 EMR Serverless 的知识：\n\n- **自动细粒度扩缩** — EMR Serverless 在处理作业的每个阶段自动纵向扩展工作线程，并在不需要时缩减工作线程。您需要为从工作线程开始运行到停止期间使用的总计 vCPU、内存和存储资源付费，四舍五入到最接近的秒（最小 1 分钟）。例如，您的作业在处理作业的前 10 分钟可能需要 10 个工作线程，在接下来的 5 分钟内需要 50 个工作线程。使用细粒度弹性伸缩，您只需为 10 分钟内 10 个工作线程及 5 分钟内 50 个工作线程付费即可。因此，您不必为未充分利用的资源付费。\n- **应对可用区故障的弹性** — EMR Serverless 是一项区域性服务。当您向 EMR Serverless 应用程序提交作业时，该应用程序可以在区域的任何可用区中运行。如果可用区受损，则提交给您的 EMR Serverless 应用程序的作业将自动在另一个（运行状况良好）可用区中运行。在私有 VPC 中使用资源时，EMR Serverless 建议您为多个可用区指定私有 VPC 配置，以便 EMR Serverless 自动选择运行状况良好的可用区。\n- **启用共享应用程序** — 向 EMR Serverless 应用程序提交作业时，您可以指定该作业必须使用的 IAM 角色，以便访问 Amazon 资源，如 S3 对象。因此，不同的 IAM 主体可以在单个 EMR Serverless 应用程序上运行作业，且每个作业只能访问允许 IAM 主体访问的 Amazon 资源。这样，您可以设置以下场景：具有预初始化工作线程池的单个应用程序可供多个租户使用，其中每个租户可以使用不同的 IAM 角色提交作业，但使用预初始化工作线程的公共池立即处理请求。\n\n**++现已推出++**\n\n[Amazon EMR Serverless](https://aws.amazon.com/emr/serverless/) 现已在美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）和亚太地区（东京）区域推出。使用 EMR Serverless，不存在预付费用，您只需为使用的资源付费。您需要为应用程序消耗的 vCPU、内存和存储资源量付费。有关定价详细信息，请参阅 [EMR Serverless 定价页面](https://aws.amazon.com/emr/pricing/#Amazon_EMR_Serverless)。\n\n要了解更多信息，请访问 [Amazon EMR Serverless 用户指南](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/emr-serverless.html)以及使用 Apache Spark 和 Apache Hive 的[示例代码](https://github.com/aws-samples/emr-serverless-samples)。请将反馈发送至 [Amazon EMR Serverless 的 Amazon re:Post](https://repost.aws/tags/TAooU2t3GoTCiEIV7KWsx3Jw/amazon-emr-serverless) 或通过平时的 Amazon 支持联系人发送反馈。\n\n**了解有关 [Amazon EMR](https://aws.amazon.com/cn/emr/?trk=cndc-detail) Serverless 的所有详细信息并[立即开始使用](https://aws.amazon.com/emr/serverless/?sc_detail=blog_cta1)**。\n\n— [Channy](https://twitter.com/channyun)\n\n\n\n#### **[Channy Yun](https://aws.amazon.com/blogs/aws/author/channy-yun/)**\n\nChanny Yun 是 Amazon 的首席开发人员宣传官，热衷于帮助开发人员在最新的 Amazon 服务上构建现代化应用程序。作为务实的开发人员和博主，他喜欢以社群主导的方式学习和共享技术，这将开发人员汇集到全球 Amazon 用户组。他重点关注的主题包括开源、容器、存储、网络和安全以及物联网。欢迎在 Twitter 上关注他：@channyun。","render":"<p>在 Amazon re: Invent 2021 上，我们为我们的数据分析服务推出了三种新的无服务器选项 — <a href=\\"https://aws.amazon.com/blogs/big-data/announcing-amazon-emr-serverless-preview-run-big-data-applications-without-managing-servers/\\" target=\\"_blank\\">Amazon EMR Serverless</a>、 <a href=\\"https://aws.amazon.com/blogs/aws/introducing-amazon-redshift-serverless-run-analytics-at-any-scale-without-having-to-manage-infrastructure/\\" target=\\"_blank\\">Amazon Redshift Serverless</a> 和 <a href=\\"https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-msk-serverless-public-preview/\\" target=\\"_blank\\">Amazon MSK Serverless</a> — 这使得任何规模的数据分析都变得更加容易，无需配置、扩展或管理底层基础设施。</p>\\n<p>今天，我们宣布正式全面推出 <a href=\\"https://aws.amazon.com/emr/serverless/\\" target=\\"_blank\\">Amazon EMR Serverless</a>，这是一种[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)部署选项，客户可以使用 Apache Spark 和 Hive 等开源框架运行大数据分析应用程序，而无需配置、管理和扩展集群或服务器。</p>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/90d7d4811d8d475ba0d03f62b84c4cbc_image.png\\" alt=\\"image.png\\" /></p>\n<p>借助 EMR Serverless，您可以运行任何规模的分析工作负载，自动扩展可在几秒钟内调整资源大小，以满足不断变化的数据量和处理要求。EMR Serverless 可自动向上和向下扩展资源，为您的应用程序提供恰到好处的容量，而您只需按实际使用量付费。在预览版期间，客户向我们反馈，表示 EMR Serverless 很具性价比，因为他们不必为应对需求高峰而过度配置资源，避免了额外成本的产生。他们不必操心调整实例大小或应用操作系统更新，可以专注于更快地将产品推向市场。Amazon EMR 提供各种部署选项来运行应用程序以满足各种需求，例如 <a href=\\"http://aws.amazon.com/ec2\\" target=\\"_blank\\">Amazon Elastic Compute Cloud</a> (Amazon EC2) 上的 EMR 集群、 <a href=\\"https://aws.amazon.com/blogs/aws/new-amazon-emr-on-amazon-elastic-kubernetes-service-eks/\\" target=\\"_blank\\">Amazon Elastic Kubernetes Service</a> ([Amazon EKS](https://aws.amazon.com/cn/eks/?trk=cndc-detail)) 集群、 <a href=\\"https://aws.amazon.com/outposts\\" target=\\"_blank\\">Amazon Outposts</a> 或 <a href=\\"https://aws.amazon.com/emr/serverless/\\" target=\\"_blank\\">EMR Serverless</a>。</p>\\n<ul>\\n<li>Amazon EC2 集群上的 EMR 适用于对应用程序运行要求最大的控制和灵活性的客户。借助 EMR 集群，客户可以选择 EC2 实例类型来增强某些应用程序的性能，自定义 Amazon 机器映像 (AMI)，选择 EC2 实例配置，自定义和扩展开源框架，以及在集群实例上安装其他自定义软件。</li>\n<li>Amazon EKS 上的 EMR 适用于希望在 EKS 上实现标准化以跨应用程序管理集群或在同一集群上使用不同版本的开源框架的客户。</li>\n<li>Amazon Outposts 上的 EMR 适用于希望在 Outpost 内距离其数据中心更近的位置运行 EMR 的客户。</li>\n<li>EMR Serverless 适用于希望避免管理和操作集群，仅使用开源框架运行应用程序的客户。</li>\n</ul>\\n<p>当您使用 EMR 版本构建应用程序（例如使用 EMR 6.4 版本进行 Spark 作业）时，可以选择在 EMR 集群、EKS 上的 EMR 或 EMR Serverless 上运行该应用程序，无需重新编写应用程序。这使您能够为给定的框架版本构建应用程序，并保留灵活性，以便根据未来运营需求更改部署模式。</p>\n<p><strong><ins>Amazon EMR Serverless 入门</ins></strong></p>\n<p>要开始使用 EMR Serverless，您可以使用 <a href=\\"https://aws.amazon.com/emr/features/studio/\\" target=\\"_blank\\">Amazon EMR Studio</a>，这是一项免费的 EMR 功能，可提供端到端的开发和调试体验。借助 EMR Studio，您可以创建 EMR Serverless 应用程序（Spark 或 Hive），为您的应用程序选择开源软件的版本，提交作业，检查正在运行的作业的状态，以及调用 Spark UI 或 Tez UI 以进行作业诊断。</p>\\n<p>在 <a href=\\"https://console.aws.amazon.com/emr/home#/serverless\\" target=\\"_blank\\">EMR Serverless 控制台</a>中选择<strong>入门</strong>按钮后，您可以使用预配置的 EMR Serverless 应用程序创建和设置 EMR Studio。</p>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/7a1cbce5439e424fa8f5d79d2ffc60bf_image.png\\" alt=\\"image.png\\" /></p>\n<p>在 EMR Studio 中，当您在“Serverless”菜单中选择<strong>应用程序</strong>时，可以创建一个或多个 EMR Serverless 应用程序，然后为您的使用案例选择开源框架和版本。如果您想要单独的逻辑环境用于测试和生产或用于不同的业务线使用案例，则可以为每个逻辑环境创建单独的应用程序。</p>\\n<p>EMR Serverless 应用程序结合了 (a) 您希望用于开源框架版本的 <a href=\\"https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/release-versions.html\\" target=\\"_blank\\">EMR 发行版本</a>和 (b) 您希望应用程序使用的特定运行时，例如 Apache Spark 或 Apache Hive。</p>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/c1434f0a6d3f406788599f06c57e1588_image.png\\" alt=\\"image.png\\" /></p>\n<p>选择<strong>创建应用程序</strong>时，可以设置 Spark 或 Hive 应用程序的<strong>名称</strong>、<strong>类型</strong>以及支持的<strong>发行</strong>版本。您还可以为预初始化容量、应用程序限制和 <a href=\\"https://aws.amazon.com/vpc\\" target=\\"_blank\\">Amazon Virtual Private Cloud</a> ([Amazon VPC](https://aws.amazon.com/cn/vpc/?trk=cndc-detail)) 连接选项选择默认或自定义设置的选项。每个 EMR Serverless 应用程序都与其他应用程序分隔开，并在安全的 VPC 中运行。</p>\\n<p>如果要立即启动作业，请使用默认选项。但是，在应用程序启动后，每个工作线程都会收取费用。要了解有关预初始化容量的更多信息，请参阅<a href=\\"https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/application-capacity-api.html\\" target=\\"_blank\\">配置和管理预初始化容量</a>。</p>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/a847f8d12a1940b7b6b6cab7cff1091d_image.png\\" alt=\\"image.png\\" /></p>\n<p>选择<strong>启动应用程序</strong>后，您的应用程序将设置为以 1 个 Spark 驱动程序加 1 个 Spark 执行程序的预初始化容量启动。默认情况下，您的应用程序配置为在作业提交后启动，在应用程序空闲状态超过 15 分钟时停止。</p>\\n<p>您可以通过选择<strong>选择自定义设置</strong>来自定义这些设置并设置不同的应用程序限制。</p>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/90592c98fd60496d8feb8c60cff62dcf_image.png\\" alt=\\"image.png\\" /></p>\n<p>在<strong>作业运行</strong>菜单中，您可以看到应用程序的运行作业列表。</p>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/320d599b3c414e518e6cadfc95f70dcd_image.png\\" alt=\\"image.png\\" /></p>\n<p>选择<strong>提交作业</strong>并设置作业详细信息，例如名称、作业使用的 <a href=\\"http://aws.amazon.com/iam\\" target=\\"_blank\\">Amazon Identity and Access Management</a> (IAM) 角色、脚本位置以及您希望运行的 <a href=\\"http://aws.amazon.com/s3\\" target=\\"_blank\\">Amazon Simple Storage Service</a> ([Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)) 存储桶中的 JAR 或 Python 脚本参数。</p>\\n<p>如果您希望将 Spark 或 Hive 作业的日志提交到 S3 存储桶，则需要在运行 EMR Serverless 作业的同一区域中设置 S3 存储桶。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/bbc1aa087bcb409ea1d89114172f2ddc_image.png\\" alt=\\"image.png\\" /></p>\n<p>（可选）您可以设置可为每个作业指定的其他配置属性，例如 Spark 属性、覆盖应用程序默认配置的作业配置（例如将 Amazon Glue 数据目录用作其元存储）、将日志存储到 Amazon S3 以及将日志保留 30 天。</p>\n<p>以下是使用 <code>StartJobRun</code> API 运行 Python 脚本的示例。</p>\\n<p>Bash</p>\n<pre><code class=\\"lang-\\">\$ aws emr-serverless start-job-run \\\\\\n --application-id &lt;application_id&gt; \\\\\\n --execution-role-arn &lt;iam_role_arn&gt; \\\\\\n --job-driver '{\\n &quot;sparkSubmit&quot;: {\\n &quot;entryPoint&quot;: &quot;s3://spark-scripts/scripts/spark-etl.py&quot;,\\n &quot;entryPointArguments&quot;: &quot;s3://spark-scripts/output&quot;,\\n &quot;sparkSubmitParameters&quot;: &quot;--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1&quot;\\n }\\n }' \\\\\\n --configuration-overrides '{\\n &quot;monitoringConfiguration&quot;: {\\n &quot;s3MonitoringConfiguration&quot;: {\\n &quot;logUri&quot;: &quot;s3://spark-scripts/logs/&quot;\\n }\\n }\\n }'\\n</code></pre>\\n<p>您可以在 S3 存储桶中查看任务结果。有关详细信息，您可以使用适用于 Spark 应用程序的 Spark UI 和<strong>作业运行</strong>菜单中的 Hive/Tez UI 来了解作业的运行方式，或者在作业失败时如何对其进行调试。</p>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/f581fdf592ec4fbb82ae30f060eeb40d_image.png\\" alt=\\"image.png\\" /></p>\n<p>要进行更多调试，EMR Serverless 会将事件日志推送到 Spark 应用程序的 S3 日志目标位置中的 <code>sparklogs</code> 文件夹中。对于 Hive 应用程序，EMR Serverless 会持续将 Hive 驱动程序和 Tez 任务日志上传到 S3 日志目标位置的 <code>HIVE_DRIVER</code> 或 <code>TEZ_TASK</code> 文件夹中。要了解更多信息，请参阅 Amazon 文档中的<a href=\\"https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/logging.html\\" target=\\"_blank\\">日志记录</a>。</p>\\n<p><strong><ins>注意事项</ins></strong></p>\n<p>使用 EMR Serverless，您可以获得运行 Amazon EMR 的所有好处。我想从预览版公告的 <a href=\\"https://aws.amazon.com/blogs/big-data/announcing-amazon-emr-serverless-preview-run-big-data-applications-without-managing-servers/\\" target=\\"_blank\\">Amazon 大数据博客</a>中引用一些关于 EMR Serverless 的知识：</p>\\n<ul>\\n<li><strong>自动细粒度扩缩</strong> — EMR Serverless 在处理作业的每个阶段自动纵向扩展工作线程，并在不需要时缩减工作线程。您需要为从工作线程开始运行到停止期间使用的总计 vCPU、内存和存储资源付费，四舍五入到最接近的秒（最小 1 分钟）。例如，您的作业在处理作业的前 10 分钟可能需要 10 个工作线程，在接下来的 5 分钟内需要 50 个工作线程。使用细粒度弹性伸缩，您只需为 10 分钟内 10 个工作线程及 5 分钟内 50 个工作线程付费即可。因此，您不必为未充分利用的资源付费。</li>\\n<li><strong>应对可用区故障的弹性</strong> — EMR Serverless 是一项区域性服务。当您向 EMR Serverless 应用程序提交作业时，该应用程序可以在区域的任何可用区中运行。如果可用区受损，则提交给您的 EMR Serverless 应用程序的作业将自动在另一个（运行状况良好）可用区中运行。在私有 VPC 中使用资源时，EMR Serverless 建议您为多个可用区指定私有 VPC 配置，以便 EMR Serverless 自动选择运行状况良好的可用区。</li>\\n<li><strong>启用共享应用程序</strong> — 向 EMR Serverless 应用程序提交作业时，您可以指定该作业必须使用的 IAM 角色，以便访问 Amazon 资源，如 S3 对象。因此，不同的 IAM 主体可以在单个 EMR Serverless 应用程序上运行作业，且每个作业只能访问允许 IAM 主体访问的 Amazon 资源。这样，您可以设置以下场景：具有预初始化工作线程池的单个应用程序可供多个租户使用，其中每个租户可以使用不同的 IAM 角色提交作业，但使用预初始化工作线程的公共池立即处理请求。</li>\\n</ul>\n<p><strong><ins>现已推出</ins></strong></p>\n<p><a href=\\"https://aws.amazon.com/emr/serverless/\\" target=\\"_blank\\">Amazon EMR Serverless</a> 现已在美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）和亚太地区（东京）区域推出。使用 EMR Serverless，不存在预付费用，您只需为使用的资源付费。您需要为应用程序消耗的 vCPU、内存和存储资源量付费。有关定价详细信息，请参阅 <a href=\\"https://aws.amazon.com/emr/pricing/#Amazon_EMR_Serverless\\" target=\\"_blank\\">EMR Serverless 定价页面</a>。</p>\\n<p>要了解更多信息，请访问 <a href=\\"https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/emr-serverless.html\\" target=\\"_blank\\">Amazon EMR Serverless 用户指南</a>以及使用 Apache Spark 和 Apache Hive 的<a href=\\"https://github.com/aws-samples/emr-serverless-samples\\" target=\\"_blank\\">示例代码</a>。请将反馈发送至 <a href=\\"https://repost.aws/tags/TAooU2t3GoTCiEIV7KWsx3Jw/amazon-emr-serverless\\" target=\\"_blank\\">Amazon EMR Serverless 的 Amazon re:Post</a> 或通过平时的 Amazon 支持联系人发送反馈。</p>\\n<p><strong>了解有关 Amazon EMR Serverless 的所有详细信息并<a href=\\"https://aws.amazon.com/emr/serverless/?sc_detail=blog_cta1\\" target=\\"_blank\\">立即开始使用</a></strong>。</p>\n<p>— <a href=\\"https://twitter.com/channyun\\" target=\\"_blank\\">Channy</a></p>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/45247d12ceba4a44aa710020c1e0844a_image.png\\" alt=\\"image.png\\" /></p>\n<h4><a id=\\"Channy_Yunhttpsawsamazoncomblogsawsauthorchannyyun_102\\"></a><strong><a href=\\"https://aws.amazon.com/blogs/aws/author/channy-yun/\\" target=\\"_blank\\">Channy Yun</a></strong></h4>\n<p>Channy Yun 是 Amazon 的首席开发人员宣传官，热衷于帮助开发人员在最新的 Amazon 服务上构建现代化应用程序。作为务实的开发人员和博主，他喜欢以社群主导的方式学习和共享技术，这将开发人员汇集到全球 Amazon 用户组。他重点关注的主题包括开源、容器、存储、网络和安全以及物联网。欢迎在 Twitter 上关注他：@channyun。</p>\n"}