Amazon EKS 的内部工作

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/CON327-Inner_workings_of_Amazon_EKS-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 Kubernetes 是一个用于管理容器化应用程序的强大解决方案，具有自动化、可扩展性、可移植性和蓬勃发展的开源社区等优点。在本论坛中，了解 [Amazon EKS](https://aws.amazon.com/cn/eks/?trk=cndc-detail) 如何帮助您使用 Kubernetes 轻松部署、管理和扩展容器化应用程序。本论坛旨在帮助您了解 [Amazon EKS](https://aws.amazon.com/cn/eks/?trk=cndc-detail) 的内部机制，以便您能够充分利用其潜力。了解 [Amazon EKS](https://aws.amazon.com/cn/eks/?trk=cndc-detail) 如何为业务关键型应用程序提供可靠性、可扩展性和弹性。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 亚马逊EKS团队的主要产品经理Vipin Mohan在会议开始时欢迎约200名与会者参加关于亚马逊EKS内部运作的演讲。他以第三人称讲述了亚马逊EKS的目标，即让Kubernetes的操作和管理变得简单乏味，以便用户能专注于为其最终客户提供价值，而非花费时间管理Kubernetes集群。 Mohan首先简要介绍了Kubernetes的背景，描述了它作为一个开源容器编排系统的特性，可支持在任何规模上部署和运行容器化应用程序。他还解释了亚马逊EKS运行的是纯Kubernetes，并已通过所有合规性测试。这确保了EKS始终提供一个安全且最新的Kubernetes环境。目前，EKS支持多达6个版本的Kubernetes，以赋予用户灵活性。 接下来，Mohan概述了他们的议程，从介绍EKS开始，讨论使用案例，谈论Kubernetes升级，深入研究EKS架构，最后以总结结束。之后，他进行了一次观众投票，以了解与会者在Kubernetes之旅中处于哪个阶段。选项包括：刚刚开始、运行一些测试和生产工作负载以及作为专家运行多个生产工作负载。结果显示，房间里的经验水平各不相同。 Mohan强调，虽然Kubernetes可以简化部署和管理容器，但在大规模运行Kubernetes集群时仍存在挑战。他列举了一些常见问题：如何高效地扩展集群，同时保持高可用性和性能？如何解决开源Kubernetes软件中的安全漏洞？管理Kubernetes控制平面所带来的复杂性和学习曲线是什么？持续管理和配备专家团队的开销是多少？ 他表示，EKS旨在通过提供一种用于高性能、可靠且安全的Kubernetes环境的托管服务来解决这些挑战，从而使Kubernetes变得“简单而乏味”。 接着，Mohan展示了来自不同行业如制造业、医疗保健、金融服务和政府机构的客户正在运行EKS的一些关键使用案例。 遗留应用程序现代化：通过将单体应用程序拆分为微服务并将其容器化，实现本地应用程序向云端的迁移。涵盖领域包括[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)（如模型训练、推理和计算机视觉）、数据处理（如流处理和分析，针对医疗保健、金融等行业）以及移动应用程序开发（许多流行的应用程序背后都使用了EKS作为后台支持）。此外，从简单的静态网站到复杂的动态网站，EKS还支持各种类型的Web应用程序。 EKS在亚马逊云科技的公共云区域以及内部和边缘解决方案如亚马逊云科技Outposts中均可用。由于各环境之间的一致性，工作负载运行位置的选择具有灵活性。 关于升级过程，尽管莫罕承认根据观众反馈，Kubernetes升级过程较为复杂，但他也提到了EKS已经取得的进步，例如支持最多6个Kubernetes版本（相较于之前的4个版本有所增加），宣布延长支持期（提供额外26个月的安全补丁，而非之前的12-14个月），以及跟随对直至1.28的所有上游Kubernetes版本的支持。此外，计划将在升级前添加预检查检查，以便主动识别潜在问题。目前，EKS支持Kubernetes版本1.23至1.28，其中1.24-1.28享受标准支持，而1.23则享受扩展预览支持。 接着，莫罕介绍了EKS架构概览，描述其为区域性服务，具有区域端点。用户通过EKS API（橙色框）访问服务，该API在幕后运行上游Kubernetes。一旦集群创建完成，所有kubectl命令都可以用于管理集群。EKS与许多亚马逊云科技服务和任何Kubernetes兼容的开源软件集成。 最后，莫罕邀请了Vipul Sabaya，EKS的高级软件开发经理，深入探讨EKS架构。Sabaya首先展示了EKS架构的详细信息，包括在专用虚拟专用网络（VPC）中运行的区域冗余的完全托管的EKS控制面，以及负责在区域间分布流量的网络负载均衡器。EKS控制面享有99.95%的服务水平协议（SLA），并享受到亚马逊云科技提供的全天候支持。同时，Sabaya强调了EKS在管理etcd方面为用户提供支持的重要性，因为etcd是分布式键值存储，用于存储集群数据，这是自己运行的最复杂组件。 EKS数据平面（即应用运行的地方）位于客户自己的账户和虚拟专用网络（VPC）中。EKS从支持自管理EC2节点开始，随后又添加了受管理的节点组和Fargate[无服务器](https://aws.amazon.com/cn/serverless/?trk=cndc-detail)计算，均由亚马逊云科技管理基础设施。最近，EKS发布了Carpenter——一个捐赠给CNCF的开源、下一代自动扩展器，通过重新平衡容器来优化成本。 在弹性方面，Sabaya解释称EKS已经实现了确定性的AZ弹性，以最小化AZ中断的影响。这包括将API服务器流量和领导权从不健康区域转移，暂停更新以保留容量，以及移动etcd领导者。 在控制平面扩展方面，Sabaya表示EKS根据CPU、内存和etcd指标等信号自动上下扩展控制平面。垂直扩展大约需要10分钟，具体取决于操作。随着集群的扩展，EKS还调整参数，如调度器和控制器管理器等组件的最大请求量和处理能力以提高吞吐量。连接排出有助于通过终止长期运行的连接来平衡API服务器实例上的负载。 EKS利用上游kube-test框架和真实集群测试进行规模测试以满足客户需求。Sabaya分享说，EKS也是上游Kubernetes可扩展性SIG的一部分，专注于改善服务级别目标，如pod启动时间。 Sabaya强调，作为所有集群数据（如容器、命名空间和自定义资源）的分布式键值存储，etcd对于Kubernetes的可用性和一致性至关重要。EKS将etcd作为具有固定IP和卷的3节点集群运行，这些卷附接到集群的寿命以保持持久性。EKS完全负责etcd维护，如压缩和碎片整理。在2022年，EKS增加了在磁盘空间填满时的自动恢复功能，以便在不恢复备份的情况下重新加入集群。 为了尽量减少软件发布的影响，EKS在使用隔离的“单元”逐步推出新功能，其中包含有限数量的集群。在所有管道阶段进行测试，并通过逐渐扩大的试点部署来逐步扩大部署浪潮。 EKS舰队在亚马逊云科技各个区域和各种账户中运行数十万甚至数百万个集群。在这种规模上，平衡安全性和速度依赖于经过验证的亚马逊云科技部署策略，如逐步推广。 Sabaya分享了EKS根据丰富的运营经验总结的最佳实践： 监控API服务器的审计日志，以便进行调试，从而识别昂贵的调用。配置API的优先级和公平性，以防止抑制关键的工作负载。正确地扩展和分区组件，例如Ingress控制器。在客户端中采用缓存、监控和分页策略，以提高Kubernetes API的使用效率。遵循每个命名空间的对象限制以及每个集群的负载均衡器限制。定期清理未使用的资源，如Cron作业和自定义资源。 总结：Sabaya强调了他与EKS紧密合作的理念，以推动与上游Kubernetes社区的互动。一些具体的例子包括：将Kubernetes容器注册表迁移至亚马逊云科技托管的解决方案；共同主持长期支持工作组；在Kubernetes安全委员会中有代表；以及将通知测试转移到亚马逊云科技的基础设施上。 在会议结束时，Mohan概述了EKS根据客户反馈而投入的一些重点领域：对附加模块的操作管理负担的增加；通过指标、日志和模板改进集群的可视性；以及继续简化升级和提高运营效率。他还引述了GitHub上的公开EKS路线图，并鼓励用户提供建议。 总的来说，Mohan重申了EKS的核心优势——消除大规模运行Kubernetes的繁重任务，同时提供一个管理服务，使客户能够专注于应用程序而非集群管理。他邀请与会者通过LinkedIn取得联系，并提供关于本次会议的反馈。 **下面是一些演讲现场的精彩瞬间：** 亚马逊云科技的领导者们探讨了EKS如何助力客户应对复杂的Kubernetes升级和扩展挑战，以满足不断变化的业务需求。  作为Kubernetes社区的幕后推动者，EKS始终遵循上游的标准，并通过多次安全性和稳定性认证，在各个版本的Kubernetes上都得到了验证。  亚马逊EKS能够简化容器化应用程序的大规模部署和管理过程，使得企业无需依赖专门团队来处理底层Kubernetes基础设施。  管理自家的Kubernetes集群需要专业知识、大量的研究以及投入时间。  亚马逊云科技致力于协助客户通过调整实例大小来优化计算资源，从而降低运营成本。  ## 总结 亚马逊EKS是一款托管的Kubernetes服务，它运行上游的Kubernetes，使得客户能够轻松地大规模部署和运行容器化应用程序。在本次演讲中，EKS团队的Vipin Mohan和Vipul Sabaya分享了对EKS架构和运营的一些见解。他们解释了EKS如何通过多可用区冗余的控制平面组件来提供高可用性。EKS能自动调整控制平面以适应应用程序需求，并通过优化参数来实现最佳性能。团队已经实现了确定的可用区弹性，即EKS在可用区故障期间保持静态API服务器容量，确保对集群操作不会受到中断。EKS还全面负责etcd的管理，这是一个用于存储集群状态的分布式键值存储系统，负责处理维护、备份和恢复。演讲者分享了关于集群配置、监控以及如何避免限流等问题的构建良好行为的客户端的最佳实践。他们强调了EKS如何优化Kubernetes管理的无差别繁重工作，使用户可以专注于应用程序和最终用户体验。EKS与Kubernetes社区保持着紧密的合作关系，包括支持长期功能如安全性和可扩展性等。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")