机器学习邂逅云计算——华讯助力企业智能化创新

自2017年AlphaGo问鼎棋坛后，越来越多国内外公司开始向智能化转型。根据IDC最新发布的2020年《中国AI云服务市场》报告显示，2020年上半年中国AI云服务市场规模达10.9亿元人民币，相比2019年实现了超过100%的增长。机器学习作为人工智能的核心实现方法，逐渐被企业运用到各种业务系统。 ## 云计算+机器学习方案介绍 机器学习的业务往往是复杂且综合性的业务，往往需要与各种数据系统对接，用到各种数据处理工具，还要考虑机器学习计算资源环境、模型平台、监控运维工具等等。而云计算的快速发展，也为机器学习应用提供了良好助力。 以亚马逊云科技(Amazon Web Service)为例，云计算可以提供机器学习各个阶段的平台和工具，解决数据源构建，模型快速验证，模型接口发布，业务敏捷上线等问题。通过云上的机器学习服务还可以利用许多现成的模型与接口，帮助加速企业数字业务智能化转型，以及试点业务场景的快速落地。 ## 云计算+机器学习方案特点 - 资源能力：云计算平台提供机器学习业务需要的各种资源，包括大型GPU/CPU主机，虚拟网络，安全设备，IoT接口等稳定可靠的IaaS基础架构。利用云上资源的弹性可以很好满足短平快的业务需求。 - 平台支撑：云计算平台提供机器学习相关的各类PaaS服务，可以很方便部署机器学习notebook环境以及大数据与中间件平台，很好的构建数据与智能的桥梁，帮助企业商务智能转型。同时云计算平台还可以提供优质的机器学习IDE开发环境，通过自动训练以及AutoML等功能帮助用户快速实现模型训练调优，助力企业快速实现业务试点及工程建模。 - 快速应用：云计算平台提供针对特定场景的SaaS智能服务，比如图像识别，时序预测，文本语音转换，智能机器人api等，可以快速用于中小公司现有的业务服务。业务人员并不需要知道机器学习算法的具体细节，就可以利用这些服务为业务增值。  ## 华讯的如何帮助企业智能化创新 - 整合服务：华讯能够提供全生命周期的云服务，帮助用户构建机器学习业务的各个阶段资源，提供整体业务架构咨询及部署服务，包括数据湖构建、数据收集清洗、持续训练框架、统一监控、模型生产落地等。 - 模型工程化：模型建模到生产环境发布往往会有很大的gap，华讯可以基于容器代码框架构建机器学习模型的弹性推理环境，提供定制化的业务接口，以及定制化的安全服务，确保模型安全可靠发布，帮助用户实现机器学习业务快速上线。 - 自动化运维：华讯基于自动化代码框架，能够解决机器学习业务的多环境发布、弹性高可用、安全运营以及模型持续发布与监控等问题；大大降低了用户开发人员以及运维人员的工作量，提升业务的敏捷能力。  ## 机器学习场景落地案例 ### 案例A——新闻推荐系统 背景：某证券投资服务公司的APP新闻推荐系统，利用亚马逊云科技提供的图数据库、中间件、容器服务、机器学习PaaS平台等相关服务，发现用户感兴趣的内容，提升用户点击率及用户粘性。 实现方法：通过召回模块将行业知识图谱通过协同过滤等方法进行一个初筛，从大规模的内容中筛选潜在的较小比例的内容。接下来通过基于DKN深度知识网络的机器学习排序模块对候选内容进行排序，排序算法针对内容和用户的特征，挑出用户可能感兴趣的top10内容。最终把Sagemaker上训练的模型通过云上ECS、ELB、CDK、Lambda、Redis、Kafka、Cloudwatch、S3等服务整合实现业务生产发布。  ### 案例B——质量预测系统 背景：某制造业公司的喷箱质量预测系统，利用云上大数据机器学习等服务，构建大数据环境并构建分析模型，可以在喷箱操作前根据各项参数进行预测，从而提升良品率，降低生产成本。 实现方法：通过亚马逊云科技提供的大数据服务抽取用户历史喷箱数据，构建数据湖；根据经验进行相关数据清洗、特征降维与增维，并通过xgbod，one-class-svm等异常检测模型进行训练拟合，提升预测准确率；最终将Sagemaker训练验证好的模型打包成容器，并通过ECS容器服务以及api等服务完成模型接口发布，并实现与用户应用系统可视化对接。