使用 Graviton 2 优化 Serverless 车联网架构

{"value":"### **一、背景介绍**\n\nAmazon Graviton 由 Amazon Web Services 基于64 位 Arm Neoverse N1 内核定制，为在 Amazon 计算资源中运行的工作负载提供更高性价比运行环境。与当前这一代基于 x86 的实例相比，基于 Graviton 2 的实例为各种工作负载（包括应用程序服务器、微服务、高性能计算、EDA、游戏、开源数据库和内存中的缓存）提供高达 40% 的性价比提升。除了基于 x86 Amazon EC2 实例外，Amazon Lambda 现在还允许您配置新的和现有的函数在基于 Arm 的 Amazon Graviton 2 处理器上运行。使用此处理器架构选项，您可以获得高达34%的性价比提升。\n\n在汽车行业，Amazon 发布了针对车联领域的 Amazon 联网汽车解决方案架构，有许多客户也借助该方案基于 Amazon 的无服务化服务的优势来快速高效的构建自己的车联网应用。除高可用，高性能外，在成本方面 Amazon 也致力于持续为客户优化成本，本文主要以某客户真实场景为背景，着重介绍如何在 Lambda 中使用 Amazon Graviton 2 进一步优化车辆网应用的成本。\n\n### **二、环境部署测试**\n\n\n\n环境说明：\n\n- 如上图通过 Amazon SAM 构建一个相似的车联网数据收集场景。\n- API Gateway 负责数据接入，Lambda 函数把接受数据并写入到 DynamoDB 中。\n- Amazon Lambda 函数分别运行在 x86 和 arm64 Architecture 中，进行对比测试。\n- Lambda 函数使用 python 3.9 开发，内存配置为 256M。\n- 本环境在 us-east-2 区域进行构建，使用 EC2 IAM role 获取相应操作权限。\n\n环境部署\n\n1. 安装 SAM\n\n```\nsudo mkdir /worktest\ncd /worktest\nwget https://github.com/aws/aws-sam-cli/releases/latest/download/aws-sam-cli-linux-x86_64.zip\nunzip aws-sam-cli-linux-x86_64.zip -d sam-installation\nsudo ./sam-installation/install\n```\n\n2. 编写 Lamdba 函数及环境模板\n\n```\nmkdir ./python-lambda\ntouch lambda.py\n#lambda.py\nimport json\nimport uuid\nimport boto3\ndynamodb = boto3.resource('dynamodb',region_name='us-west-2')\ntable = dynamodb.Table('cardata')\ndef create(event, context):\n data = json.loads(event['body'])\n item = {\n 'id': str(uuid.uuid1()),\n 'datatype': data['datatype'],\n 'datavalue': data['datavalue'],\n }\n # write the db\n table.put_item(Item=item)\n # create a response\n response = {\n \"statusCode\": 201,\n \"body\": json.dumps(item)\n }\nreturn response\ntouch template.yaml\n# template.yaml\n AWSTemplateFormatVersion: '2010-09-09'\nTransform: AWS::Serverless-2016-10-31\nDescription: AWS Serverless Micronaut API\nResources:\n PythonFunction:\n Type: AWS::Serverless::Function\n Properties:\n CodeUri: python-lambda/ \n Handler: lambda.create\n Runtime: python3.9\n MemorySize: 256\n Tracing: Active\n Policies:\n - DynamoDBCrudPolicy:\n TableName: !Ref BooksTable\n Timeout: 30\n Events:\n CreateBook:\n Type: Api\n Properties:\n Path: /py-x86/cardata\n Method: post\n\n\n PythonARMFunction:\n Type: AWS::Serverless::Function\n Properties:\n CodeUri: python-lambda/\n Handler: lambda.create\n Runtime: python3.9\n MemorySize: 256\n Tracing: Active\n Architectures: # 设置为arm 架构\n - arm64\n Policies:\n - DynamoDBCrudPolicy:\n TableName: !Ref BooksTable\n Timeout: 30\n Events:\n CreateBook:\n Type: Api\n Properties:\n Path: /py-arm/cardata\n Method: post\nBooksTable:\n Type: AWS::DynamoDB::Table\n Properties:\n TableName: cardata\n AttributeDefinitions:\n - AttributeName: id\n AttributeType: S\n KeySchema:\n - AttributeName: id\n KeyType: HASH\n BillingMode: PAY_PER_REQUEST\nOutputs:\n MyServiceApi:\n Description: URL for application\n Value: !Sub 'https://${ServerlessRestApi}.execute-api.${AWS::Region}.amazonaws.com/Prod'\n Export:\n Name: MyServiceApiUrl\n```\n\n3. SAM 部署\n\n创建 S3 bucket\n\n```\ncreate-bucket --bucket lei-lambda-test --region us-west-2 --create-bucket-configuration LocationConstraint=us-west-2\n```\n\n部署 SAM 模板\n\n```\nsam deploy -t template.yaml --no-confirm-changeset --no-fail-on-empty-changeset --stack-name sam-cardata-test --s3-bucket lei-lambda-test --capabilities CAPABILITY_IAM\n```\n\n此过程需要几分钟完成。\n\n通过控制台确定所有资源已正常运行。如下图：\n\n\n\n\n\n\n\n4. 测试验证\n\n获取api gateway endpoint\n\n```\naws cloudformation describe-stacks --stack-name sam-cardata-test --query 'Stacks[0].Outputs[0].OutputValue' --region us-west-2\n```\n\n- **Cold start test**\n\n模拟发送数据，验证 Lamdba 函数基于 x86 架构的链路响应\n\n```\ncurl -X POST -w 'Total: %{time_total}s' https://*.execute-api.us-west-2.amazonaws.com/Prod/py-x86/cardata -d '{\"datatype\":\"hdmap\",\"datavalue\":\"beijingdata\"}'\n```\n\n**Total: 0.627213s**\n\n模拟发送数据，验证 Lamdba 函数基于 arm 架构的链路响应\n\n```\ncurl -X POST -w 'Total: %{time_total}s' https://*.execute-api.us-west-2.amazonaws.com/Prod/py-arm/cardata -d '{\"datatype\":\"alarm\",\"datavalue\":\"dmsalarm\"}'\n```\n\n**Total: 0.551996s**\n\n另外也可以通过 X-RAY 更加直观的查看两种架构的响应情况。\n\n\n::: hljs-center\n\n(Lambda x86)\n\n:::\n\n\n::: hljs-center\n\n(Lambda arm)\n\n:::\n\n- **Duration test**\n\n\n\n(Lambda x86)\n\n\n\n(Lambda arm)\n\n- **Apache Benchmark 并发测试**\n\n安装 apache benchmark\n\n```\nyum install httpd-tools\n\ntouch data.json\n{\"datatype\":\"warning\",\"datavalue\":\"DMSdata\"}\n\nab -p data.json -c 100 -n 1000 https://*.execute-api.us-west-2.amazonaws.com/Prod/py-x86/cardata\n```\n\n\n\nLambda x86 并发数为 100 时，服务器平均请求等待时间为 1.873ms\n\n```\nab -p data.json -c 100 -n 1000 https://*.execute-api.us-west-2.amazonaws.com/Prod/py-arm/cardata\n```\n\n\n\nLambda arm 并发数为 100 时，服务器平均请求等待时间为 1.498ms\n\n### **三、总结**\n\n我们可以看到本场景中同样的条件下，由 Graviton2 提供支持的 Lambda 函数具有更好的性能，函数可以更高效地运行；另外使用 Arm/Graviton2 架构的函数，持续时间费用比 x86 的当前定价低 20％，使用预置并发的函数的持续时间费用也可减少 20%。因此，由 Graviton2 提供支持的 Lambda 函数可以降低 20％ 的成本的同时提供更高的性能提升，从而为客户提供了更完善的用户体验和更低的成本节约。\n\n### **四、参考资料**\n\n[https://github.com/aws/aws-sam-cli/releases/](https://github.com/aws/aws-sam-cli/releases/)\n\n[https://aws.amazon.com/jp/blogs/aws/aws-lambda-functions-powered-by-aws-graviton2-processor-run-your-functions-on-arm-and-get-up-to-34-better-price-performance/\n](https://aws.amazon.com/jp/blogs/aws/aws-lambda-functions-powered-by-aws-graviton2-processor-run-your-functions-on-arm-and-get-up-to-34-better-price-performance/)\n[https://aws.amazon.com/cn/lambda/pricing/](https://aws.amazon.com/cn/lambda/pricing/)\n\n### **本篇作者**\n\n\n\n#### **梁战雷**\n\nAmazon 解决方案架构师，具有超过13年的运维工作经验，在微服务，容器，devops 等云原生领域有丰富的项目落地实施经验，现在主要负责企业级客户的上云推广及支持工作。","render":"<h3><a id=\"_0\"></a><strong>一、背景介绍</strong></h3>\n<p>Amazon Graviton 由 Amazon Web Services 基于64 位 Arm Neoverse N1 内核定制，为在 Amazon 计算资源中运行的工作负载提供更高性价比运行环境。与当前这一代基于 x86 的实例相比，基于 Graviton 2 的实例为各种工作负载（包括应用程序服务器、微服务、高性能计算、EDA、游戏、开源数据库和内存中的缓存）提供高达 40% 的性价比提升。除了基于 x86 Amazon EC2 实例外，Amazon Lambda 现在还允许您配置新的和现有的函数在基于 Arm 的 Amazon Graviton 2 处理器上运行。使用此处理器架构选项，您可以获得高达34%的性价比提升。</p>\n<p>在汽车行业，Amazon 发布了针对车联领域的 Amazon 联网汽车解决方案架构，有许多客户也借助该方案基于 Amazon 的无服务化服务的优势来快速高效的构建自己的车联网应用。除高可用，高性能外，在成本方面 Amazon 也致力于持续为客户优化成本，本文主要以某客户真实场景为背景，着重介绍如何在 Lambda 中使用 Amazon Graviton 2 进一步优化车辆网应用的成本。</p>\n<h3><a id=\"_6\"></a><strong>二、环境部署测试</strong></h3>\n<p><img src=\"https://dev-media.amazoncloud.cn/cd09fc7225e442d08ebc3c1aa87f05fa_image.png\" alt=\"image.png\" /></p>\n<p>环境说明：</p>\n<ul>\n<li>如上图通过 Amazon SAM 构建一个相似的车联网数据收集场景。</li>\n<li>API Gateway 负责数据接入，Lambda 函数把接受数据并写入到 DynamoDB 中。</li>\n<li>Amazon Lambda 函数分别运行在 x86 和 arm64 Architecture 中，进行对比测试。</li>\n<li>Lambda 函数使用 python 3.9 开发，内存配置为 256M。</li>\n<li>本环境在 us-east-2 区域进行构建，使用 EC2 IAM role 获取相应操作权限。</li>\n</ul>\n<p>环境部署</p>\n<ol>\n<li>安装 SAM</li>\n</ol>\n<pre><code class=\"lang-\">sudo mkdir /worktest\ncd /worktest\nwget https://github.com/aws/aws-sam-cli/releases/latest/download/aws-sam-cli-linux-x86_64.zip\nunzip aws-sam-cli-linux-x86_64.zip -d sam-installation\nsudo ./sam-installation/install\n</code></pre>\n<ol start=\"2\">\n<li>编写 Lamdba 函数及环境模板</li>\n</ol>\n<pre><code class=\"lang-\">mkdir ./python-lambda\ntouch lambda.py\n#lambda.py\nimport json\nimport uuid\nimport boto3\ndynamodb = boto3.resource('dynamodb',region_name='us-west-2')\ntable = dynamodb.Table('cardata')\ndef create(event, context):\n data = json.loads(event['body'])\n item = {\n 'id': str(uuid.uuid1()),\n 'datatype': data['datatype'],\n 'datavalue': data['datavalue'],\n }\n # write the db\n table.put_item(Item=item)\n # create a response\n response = {\n &quot;statusCode&quot;: 201,\n &quot;body&quot;: json.dumps(item)\n }\nreturn response\ntouch template.yaml\n# template.yaml\n AWSTemplateFormatVersion: '2010-09-09'\nTransform: AWS::Serverless-2016-10-31\nDescription: AWS Serverless Micronaut API\nResources:\n PythonFunction:\n Type: AWS::Serverless::Function\n Properties:\n CodeUri: python-lambda/ \n Handler: lambda.create\n Runtime: python3.9\n MemorySize: 256\n Tracing: Active\n Policies:\n - DynamoDBCrudPolicy:\n TableName: !Ref BooksTable\n Timeout: 30\n Events:\n CreateBook:\n Type: Api\n Properties:\n Path: /py-x86/cardata\n Method: post\n\n\n PythonARMFunction:\n Type: AWS::Serverless::Function\n Properties:\n CodeUri: python-lambda/\n Handler: lambda.create\n Runtime: python3.9\n MemorySize: 256\n Tracing: Active\n Architectures: # 设置为arm 架构\n - arm64\n Policies:\n - DynamoDBCrudPolicy:\n TableName: !Ref BooksTable\n Timeout: 30\n Events:\n CreateBook:\n Type: Api\n Properties:\n Path: /py-arm/cardata\n Method: post\nBooksTable:\n Type: AWS::DynamoDB::Table\n Properties:\n TableName: cardata\n AttributeDefinitions:\n - AttributeName: id\n AttributeType: S\n KeySchema:\n - AttributeName: id\n KeyType: HASH\n BillingMode: PAY_PER_REQUEST\nOutputs:\n MyServiceApi:\n Description: URL for application\n Value: !Sub 'https://${ServerlessRestApi}.execute-api.${AWS::Region}.amazonaws.com/Prod'\n Export:\n Name: MyServiceApiUrl\n</code></pre>\n<ol start=\"3\">\n<li>SAM 部署</li>\n</ol>\n<p>创建 S3 bucket</p>\n<pre><code class=\"lang-\">create-bucket --bucket lei-lambda-test --region us-west-2 --create-bucket-configuration LocationConstraint=us-west-2\n</code></pre>\n<p>部署 SAM 模板</p>\n<pre><code class=\"lang-\">sam deploy -t template.yaml --no-confirm-changeset --no-fail-on-empty-changeset --stack-name sam-cardata-test --s3-bucket lei-lambda-test --capabilities CAPABILITY_IAM\n</code></pre>\n<p>此过程需要几分钟完成。</p>\n<p>通过控制台确定所有资源已正常运行。如下图：</p>\n<p><img src=\"https://dev-media.amazoncloud.cn/b67b573e14ec43e1ac4a1bf89ce25be7_image.png\" alt=\"image.png\" /></p>\n<p><img src=\"https://dev-media.amazoncloud.cn/3021ff10f23041dd9d8d56166eda3f32_image.png\" alt=\"image.png\" /></p>\n<p><img src=\"https://dev-media.amazoncloud.cn/fe7f5cc5a2a742c9994b4d90d8c38b2f_image.png\" alt=\"image.png\" /></p>\n<ol start=\"4\">\n<li>测试验证</li>\n</ol>\n<p>获取api gateway endpoint</p>\n<pre><code class=\"lang-\">aws cloudformation describe-stacks --stack-name sam-cardata-test --query 'Stacks[0].Outputs[0].OutputValue' --region us-west-2\n</code></pre>\n<ul>\n<li><strong>Cold start test</strong></li>\n</ul>\n<p>模拟发送数据，验证 Lamdba 函数基于 x86 架构的链路响应</p>\n<pre><code class=\"lang-\">curl -X POST -w 'Total: %{time_total}s' https://*.execute-api.us-west-2.amazonaws.com/Prod/py-x86/cardata -d '{&quot;datatype&quot;:&quot;hdmap&quot;,&quot;datavalue&quot;:&quot;beijingdata&quot;}'\n</code></pre>\n<p><strong>Total: 0.627213s</strong></p>\n<p>模拟发送数据，验证 Lamdba 函数基于 arm 架构的链路响应</p>\n<pre><code class=\"lang-\">curl -X POST -w 'Total: %{time_total}s' https://*.execute-api.us-west-2.amazonaws.com/Prod/py-arm/cardata -d '{&quot;datatype&quot;:&quot;alarm&quot;,&quot;datavalue&quot;:&quot;dmsalarm&quot;}'\n</code></pre>\n<p><strong>Total: 0.551996s</strong></p>\n<p>另外也可以通过 X-RAY 更加直观的查看两种架构的响应情况。</p>\n<p><img src=\"https://dev-media.amazoncloud.cn/bf515611b38847b586925097f44c0378_image.png\" alt=\"image.png\" /></p>\n<div class=\"hljs-center\">\n<p>(Lambda x86)</p>\n</div>\n<p><img src=\"https://dev-media.amazoncloud.cn/c733211e0534435498371c180a5c21d5_image.png\" alt=\"image.png\" /></p>\n<div class=\"hljs-center\">\n<p>(Lambda arm)</p>\n</div>\n<ul>\n<li><strong>Duration test</strong></li>\n</ul>\n<p><img src=\"https://dev-media.amazoncloud.cn/a398ffdd88444b22befade5944821f62_image.png\" alt=\"image.png\" /></p>\n<p>(Lambda x86)</p>\n<p><img src=\"https://dev-media.amazoncloud.cn/2c66d7572df34c8a9cc2a96a9135a8dc_image.png\" alt=\"image.png\" /></p>\n<p>(Lambda arm)</p>\n<ul>\n<li><strong>Apache Benchmark 并发测试</strong></li>\n</ul>\n<p>安装 apache benchmark</p>\n<pre><code class=\"lang-\">yum install httpd-tools\n\ntouch data.json\n{&quot;datatype&quot;:&quot;warning&quot;,&quot;datavalue&quot;:&quot;DMSdata&quot;}\n\nab -p data.json -c 100 -n 1000 https://*.execute-api.us-west-2.amazonaws.com/Prod/py-x86/cardata\n</code></pre>\n<p><img src=\"https://dev-media.amazoncloud.cn/2829623257ed400b9e1be0cba3da416f_image.png\" alt=\"image.png\" /></p>\n<p>Lambda x86 并发数为 100 时，服务器平均请求等待时间为 1.873ms</p>\n<pre><code class=\"lang-\">ab -p data.json -c 100 -n 1000 https://*.execute-api.us-west-2.amazonaws.com/Prod/py-arm/cardata\n</code></pre>\n<p><img src=\"https://dev-media.amazoncloud.cn/fc4c612ba71a4dcaa9423849e9539e34_image.png\" alt=\"image.png\" /></p>\n<p>Lambda arm 并发数为 100 时，服务器平均请求等待时间为 1.498ms</p>\n<h3><a id=\"_222\"></a><strong>三、总结</strong></h3>\n<p>我们可以看到本场景中同样的条件下，由 Graviton2 提供支持的 Lambda 函数具有更好的性能，函数可以更高效地运行；另外使用 Arm/Graviton2 架构的函数，持续时间费用比 x86 的当前定价低 20％，使用预置并发的函数的持续时间费用也可减少 20%。因此，由 Graviton2 提供支持的 Lambda 函数可以降低 20％ 的成本的同时提供更高的性能提升，从而为客户提供了更完善的用户体验和更低的成本节约。</p>\n<h3><a id=\"_226\"></a><strong>四、参考资料</strong></h3>\n<p><a href=\"https://github.com/aws/aws-sam-cli/releases/\" target=\"_blank\">https://github.com/aws/aws-sam-cli/releases/</a></p>\n<p><a href=\"https://aws.amazon.com/jp/blogs/aws/aws-lambda-functions-powered-by-aws-graviton2-processor-run-your-functions-on-arm-and-get-up-to-34-better-price-performance/\" target=\"_blank\">https://aws.amazon.com/jp/blogs/aws/aws-lambda-functions-powered-by-aws-graviton2-processor-run-your-functions-on-arm-and-get-up-to-34-better-price-performance/<br />\n</a><br />\n<a href=\"https://aws.amazon.com/cn/lambda/pricing/\" target=\"_blank\">https://aws.amazon.com/cn/lambda/pricing/</a></p>\n<h3><a id=\"_234\"></a><strong>本篇作者</strong></h3>\n<p><img src=\"https://dev-media.amazoncloud.cn/4710516308854d608e2659c0c8b0d27b_image.png\" alt=\"image.png\" /></p>\n<h4><a id=\"_238\"></a><strong>梁战雷</strong></h4>\n<p>Amazon 解决方案架构师，具有超过13年的运维工作经验，在微服务，容器，devops 等云原生领域有丰富的项目落地实施经验，现在主要负责企业级客户的上云推广及支持工作。</p>\n"}