使用 Amazon SageMaker Canvas 以无代码/低代码方式实现机器学习民主化

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/AIM217-Democratize_ML_with_no_code_low_code_using_Amazon_SageMaker_Canvas-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 [机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail) (ML)可以解决帮助组织实现更好结果的业务问题。但是，如何将[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)超越技术用户，在整个组织中实现它？在本论坛中，学习如何使用 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Canvas，完成[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)生命周期，从准备数据和创建模型到生成预测，而无需编写一行代码。通过 SageMaker Canvas，您可以利用现成的模型或创建自己的模型，从数据和 ML 中获得见解。加入我们，在组织中实现[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)民主化，并实现更好的业务成果。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共2400字，阅读时间大约是12分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 亚马逊云科技的SageMaker本地无代码团队的总经理Raj Singh在一次约有500人的会议上开始了他的演讲，主题是关于使用SageMaker Canvas普及[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的民主化。他邀请了两位共同发言者——大卫·加列埃和拉姆·德·弗利。 Raj首先向观众了解他们在[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)方面的经验水平。他询问与会者是否已经有几年积极的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)和开发模型的经验。根据对房间的视觉观察，Raj估计大约有30人，即6%的与会者举手。当问到那些认为自己[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)中途的初学者时，房间里更多的人，大约65-70%，或325-350人举起了手。 Raj解释说，亚马逊云科技的目标是使每个人都能利用[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)，而不仅仅是经验丰富的开发者。他分享了一个统计数据，过去两年里，各组织对于[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)解决方案的需求激增了300%以上。然而，目前全球只有不到100万具有深厚[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)技能和专长的人。这种需求远远超过供应的严重不匹配导致了像SageMaker Canvas这样的低代码和无代码工具的迫切需求。 为了说明企业所面临的挑战，Raj概述了亚马逊云科技客户经常描述的两个关键问题。首先是[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)专家过于繁忙，因为平均来说，来自业务的需求比可开发的专家多出5-10倍。因此，大部分（70-80%）的建议项目需要等待数月甚至数年才能被优先处理和发展。 Secondly, although 52% of enterprises desire to adopt machine learning, only 22% have the necessary in-house skills. Even if business users acquire some basic ML skills, the available tools typically do not facilitate collaboration with experienced machine learning developers for feedback prior to deployment. Raj explains that [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Canvas directly addresses these bottlenecks, making machine learning more accessible. It provides a visual workspace for business users and domain experts without the need for coding. Canvas enables users to build, deploy, and manage machine learning models, including deep learning and generative AI. One of the key features enabling this goal is the provision of ready-to-use pre-trained models. Canvas offers more than 85 pre-built models supported by Amazon Web Services AI services, allowing users to bring their own data and generate predictions immediately without needing to develop models from scratch. This reduces project timelines from months to weeks or days. In cases where pre-built models are insufficient, SageMaker Canvas also allows users to develop custom models tailored to their specific data. Collaboration is seamlessly supported through multiple modes. Models built in Canvas can be exported for machine learning developers to use SageMaker Studio for inspection and feedback, ensuring business users develop high-quality models following best practices. Canvas also allows non-coding users to inspect the actual Python code used for model training and inference. Raj emphasizes that due to its combination of no-code templates and custom modelling options, SageMaker Canvas can be scaled for widespread use across various industries. Examples of customer applications using Canvas include: - Natural language queries and analysis of enterprise documents or the data lake for document-based question answering and analytics - Generating content and analysing text using natural language models - Predictive analyses for customer churn prevention, credit risk assessment, and inventory prediction - Computer vision applications such as visual defect detection in manufacturing and object detection in security systems 时间序列预测需求规划、销售预测和工作量容量建模" 为了展示现成的预训练模型的应用，Raj详细阐述了与亚马逊云科技AI服务的整合方式： - 通过[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)，用户可以访问HuggingFace模型，如BERT和GPT-2，以解决自然语言相关任务。 - 借助[Amazon Textract](https://aws.amazon.com/cn/textract/?trk=cndc-detail)，实现智能文档处理和数据提取。 - [Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail)则提供自然语言处理能力，以进行情感分析和实体识别。 - [Amazon Rekognition](https://aws.amazon.com/cn/rekognition/?trk=cndc-detail)具备计算机视觉功能，适用于图像和视频分析。 通过这些集成，用户可通过SageMaker Canvas轻松应用先进的深度学习模型，无需编程技能。接着，Raj强调了近期re:Invent上推出的一项新功能： 1. 互动式评估和比较模型：用户现在可以通过Canvas的用户界面评估和尝试不同的预训练模型（源自[Amazon Bedrock](https://aws.amazon.com/cn/bedrock/?trk=cndc-detail)和SageMaker JumpStart）。他们可以选择示例提示并试用地面模型输出，以选定最适合其应用场景的模型。 2. 无代码微调：用户现在可以在自己的数据上微调这些预训练模型，无需编写任何代码。他们只需选择一个基本模型，上传带有标签示例的数据集，并通过一键“微调”按钮完成操作。Canvas会处理训练作业并提供模型评估指标，包括准确性、延迟和偏见指标。 关于自定义模型构建，Raj概述了如何利用SageMaker Canvas引导用户完成整个流程： 1. 数据导入：用户可从超过50个不同来源导入结构化数据，包括[Amazon S3](https://aws.amazon.com/cn/s3/?trk=cndc-detail)和Redshift、Snowflake、Salesforce等。 2. 数据准备：Canvas提供内置工具对数据进行简介、分析、清理和转换。新功能演示包括可视工作流程编辑和用于数据准备的自然语言查询。 3. 模型构建：用户可一次性完成模型训练、配置选项（如问题类型：分类、预测等）以及AutoML处理的算法选择和超参数调整。 4. 生成预测：Canvas允许用户生成批量或实时预测，由SageMaker推断引擎驱动。 5. 模型部署：用户可使用一键将模型部署到生产端点，便于从应用程序或数据工作流中调用。 六、分享与合作 - 用户可将笔记本导出并与SageMaker Studio集成，将模型注册到SageMaker模型注册表中，以便开发者共享。尽管Canvas提供了丰富的功能，但亚马逊云科技理解组织需要适当管理权限和访问。SageMaker Canvas允许管理员限制用户对特定模型构建任务的权限，并通过集成为单点登录(SSO)进行访问控制。此外，新的成本优化功能可允许在非营业时间自动关闭闲置资源，从而为开发环境设定成本上限。使用率指标使管理员了解不同团队如何利用SageMaker Canvas。 在了解了Canvas的价值主张和最新更新背景后，拉杰邀请了大卫·伽利略来展示新的微调功能。大卫分享了一个关于投资建议的使用场景，说明了默认模型是如何根据其原始训练数据进行通用结果的。他展示了如何在Canvas中使用定制数据对其中一个内置的基础模型进行调整，这些数据专门适用于他公司的产品和服务策略。通过在Canvas界面上进行简单的操作，他能够让模型专门化以生成符合他业务需求的定制化推荐。 大卫上传了一个包含50行的CSV数据集，每行包含一个示例提示和一个理想的推荐模型完成。他选择了两个要微调的基础模型，包括来自亚马逊Bedrock的7.74亿参数Titian-Dolly模型和来自SageMaker JumpStart的70亿参数Falcon模型。在调整过程中，Canvas界面允许大卫监控培训工作的进度，每个调整过程大约需要10分钟才能完成。完成后，他可以分析每个已调整的模型的性能，查看准确性指标、损失曲线和其他评估。结果显示，定制的Falcon模型能够提供与他训练数据中的提示和完成紧密一致的投资建议，而原始的开箱即用模型仍然会提供更多的通用结果。 David展示了如何构建完整的自定义模型工作流，以及如何将结构化数据从不同的来源导入Canvas中进行处理。他将两个样本数据集进行了合并，最终得到了一个包含5000行和12列的组合数据集。接着，他运行了一个数据质量报告，该报告提供了关于缺失值、异常值等问题的交互式可视化和统计信息，无需编写任何代码。 David强调了新的自然语言聊天界面在数据准备方面的应用，用户可以通过简单地说出或输入请求来实现数据的转换。例如，他可以询问聊天机器人如何绘制一个散点图，聊天机器人会自动生成Python代码和可视化效果。 他还展示了如何通过聊天机器人或在可视界面上手动执行的操作捕获到图形工作流程中，从而提供应用于变换序列的透明度。工作流程视图使您能够重新编辑或重新运行之前的步骤。 在准备好数据后，David演示了如何通过简单的点击来训练[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)模型。他选择了“二元分类”模型类型，并让Canvas在后台通过AutoML处理算法选择、超参数调整和训练协调。大约20分钟后，Canvas已经训练出了一个基于准确度指标的最佳表现者的模型集合。 David然后在测试数据集上进行预测，界面会突出显示每行的置信分数和实际与预测值之间的差异。他展示了这些预测结果可以导出并自动发送到[Amazon QuickSight](https://aws.amazon.com/cn/quicksight/?trk=cndc-detail)，以集成到交互式仪表板和业务智能工作流中。 最后，David展示了一键部署训练好的模型的功能，生成了一个实时返回预测值的API端点。这个端点可以与生产工作流和应用集成，实现模型的自动化操作。他还展示了如何使用代码导出、与SageMaker Studio的集成以及模型注册功能，以便与其他开发者共享，促进协作。 在不同的专业领域和安全环境中实现对数据孤岛的跨平台访问，包括用于模型训练的数据集注释和标签工具。用户可以通过自助服务环境轻松地访问亚马逊云科技的服务，例如SageMaker Canvas。此外，该系统还具备模型注册表和模型监控功能。 这个平台具有高度的灵活性，能够在严格区分生产和实验环境的同时整合最新的框架。它通过共享数据和模型注册表支持超过150个产品团队的协同合作。 据拉姆介绍，过去一年的一个重要目标就是将AI平台推广至整个企业，展示其强大的功能。他的团队已经参与了超过15次黑客松活动，这些活动中，参与者们利用了诸如SageMaker Canvas之类的工具来原型化解决商业问题的解决方案。 在一次为期两天的专门针对Canvas的黑客松活动中，他们提出了四个挑战： 1. 客户服务中心的资源规划预测 2. 库存优化的时间序列预测 3. 订阅销售的转化预测 4. 利用聚类算法对客户进行分析 根据拉姆的报告，共有70名员工参与了这次活动，他们来自各个不同的职位，包括主题专家、数据分析师、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)工程师以及没有人工智能/[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)背景的软件开发者。在黑客马拉松活动结束后进行的反馈调查中，大多数参与者都表示了积极的态度，有95%的受访者表示他们很可能会向同事推荐这款AI平台。 他特别分享了一个具体的案例，一个包括存储工程师、业务分析师和两名软件工程师的团队在Snowflake数据仓库上构建了一个预测模型，该模型用于预测呼叫中心的流量并使用SageMaker Canvas进行操作。尽管他们之前从未接触过[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)，但他们仍然能够： - 在Snowflake数据仓库中连接SageMaker Canvas - 为模型工程特征并转换数据 - 使用无代码界面训练自定义模型 - 在中央模型注册表中注册模型 - 部署模型以生成预测 通过在黑客马拉松中获胜并通过成功的端到端模型构建展示了SageMaker Canvas的力量，即使对于没有先前的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)经验的使用者也是如此。使这些非技术领域的专家能够开发并对[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)的预测采取行动，有助于在整个组织中推动更广泛的应用。 最后，拉杰·辛格尔感谢拉姆·德·弗利和汤森路透团队分享了他们使用SageMaker Canvas的经验。他强调了演示和示范所展示的无代码工具的力量，这些工具可以打开所有用户的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)之门。通过消除不必要的复杂性，SageMaker Canvas既允许技术用户也允许非技术用户将业务问题转化为有影响力的AI解决方案。 拉杰建议与会者参加SageMaker Canvas的自控实践操作实验室，以及在re:Invent上的一些相关会议，以继续学习。他强调，通过使[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)民主化，像SageMaker Canvas这样的工具可以帮助企业充分利用AI来驱动数字转型。 **下面是一些演讲现场的精彩瞬间：** 在re:Invent的演讲中，领导者们探讨了如何使用SageMaker Canvas将[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)普及化的问题。  借助SageMaker Canvas，非专业人士和数据科学家能够在SageMaker Studio内进行协作。  亚马逊SageMaker Canvas使得用户能够应对各种[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)挑战，例如文档问答、内容生成、客户流失预测、视觉缺陷检测和销售预测等。  领导者们展示了如何通过调整模型来优化特定应用场景的推荐。  通过批量上传、假设分析和自动预测生成，SageMaker Canvas实现了高精度的模型预测。  亚马逊云科技的黑客马拉松关注于解决实际问题，例如使用SageMaker Canvas进行呼叫中心预测和客户分析。  领导者们鼓励同行分享有价值的会议信息，以便每个人都能从计划的活动中获得益处。  ## 总结 SageMaker Canvas是由亚马逊云科技服务如[Amazon Comprehend](https://aws.amazon.com/cn/comprehend/?trk=cndc-detail)和[Amazon Rekognition](https://aws.amazon.com/cn/rekognition/?trk=cndc-detail)驱动的即插即用平台。用户可以携带自己的数据并生成预测，无需从头构建模型。 Canvas支持业务用户和[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)专家的协作。业务用户可以在Canvas中构建模型，并与SageMaker Studio中的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)工程师共享。此外，Canvas还允许查看训练过程中生成的模型代码。 Canvas提供了简单的数据准备功能，包括300多个内置转换和与50多个数据源的连接。新的功能如可视化的数据流设计和自然语言数据查询进一步简化了过程。 用户只需点击几次即可构建自定义模型——Canvas在后台运行AutoML，使用正确的算法生成和评估模型。用户可以获得模型排行榜来比较性能。 Canvas支持各种部署模式，如批量预测、模型端点、与SageMaker模型注册表和[Amazon QuickSight](https://aws.amazon.com/cn/quicksight/?trk=cndc-detail)集成。管理员可以限制权限并启用单点登录。 演讲中分享了投资建议、客户流失预测和呼叫中心预测等示例，这些示例展示了在没有[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)专业知识的情况下，新手用户如何通过Canvas在黑客马拉松期间成功地构建了解决方案。Canvas使AI的访问民主化，使每个组织都能够构建自己的AI。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")