Jupyter AI：开源为笔记本电脑引入LLMs

## 视频 <video src="https://dev-media.amazoncloud.cn/30-LibaiGenerate/31-LiBaiRebrandingVideo/OPN203-Jupyter_AI__Open_source_brings_LLMs_to_your_notebooks-LBrebrandingWCaptionCN.mp4" class="bytemdVideo" controls="controls"></video> ## 导读 在亚马逊云科技，我们的开发人员构建了Jupyter AI，这是一个开源项目，用于将 JupyterLab 与生成式 AI 大语言模型 (LLM) 连接起来，例如 Amazon Titan 和 OpenAI 的 gpt-3.5-turbo（用于 ChatGPT）。在本论坛中，探索如何使用这些模型的强大功能，提高效率。从几个用例中学习，包括代码重构、调试、代码解释和回答常见问题，了解 Jupyter AI 如何根据用户输入回答问题，帮助解释和修复代码错误，以及学习和回答有关本地数据文件的问题。Jupyter AI 在 JupyterCon 2023 上发布，提供免费开源软件。 ## 演讲精华 <font color = "grey">以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。</font> 来自亚马逊云科技开放源代码Jupyter团队的Jason和Piyush开始了演讲。作为该团队的两名工程师，他们欢迎与会者的到来，共同探讨Jupyter AI的相关议题。Jason，作为一名拥有近20年经验的资深前端工程师，强调了他在Jupyter开放式源代码项目上的角色，并参与了该项目委员会、多样性、安全等方面的各种工作。他的同事Piyush则介绍了他作为Jupyter开放源代码团队的高级软件工程师的身份，并为JupyterLab和LChain等项目做出了贡献。LChain是一个用于构建生成性应用程序的开放源代码框架，这是Jupyter AI的核心部分。 在演讲开始后，Jason询问观众们是否曾经使用过Jupyter的产品，如JupyterLab、Jupyter Notebook或亚马逊云科技SageMaker Studio。许多人都举起了手，这表明人们对于Jupyter在其近20年的历史中所提供的交互式计算产品的了解非常广泛。Jupyter作为一个开放源代码项目起源于Python、R和Julia编程语言，正如其名称所反映的那样。但现在，它已经通过其灵活的架构支持超过300,000个内核，几乎适用于任何语言。基于Jupyter核心开放源代码栈，像亚马逊云科技这样的公司已经构建了各种商业产品和服务。 Jason进一步解释道，Jupyter Notebook允许用户在浏览器中渲染的单个文档中结合代码、输出、可视化和文本。这使得数据分析的图表和图形可以与代码块和标记叙述并行显示。作为核心Jupyter项目的官方扩展，Jupyter AI增加了新功能，同时保持完整的开放源代码治理和许可。它本身不构成新的大型语言模型，而是提供了将现有模型连接到Jupyter Notebook和Lab环境的接口。用户甚至可以根据需要和偏好从Anthropic、Cohere、谷歌等提供商选择不同的模型。在幕后，Jupyter AI处理提示工程和管理优化交互的请求。 1. 供应商中立性 - Jupyter AI能够与多种模型提供商（如亚马逊云科技Amazon Web Services）、第三方服务和开源选项共同合作，例如通过利用LangChain等外部库。随着LangChain的扩展，集成新的模型功能变得更加容易。 2. 透明度 - Jupyter AI生成的代码包含表示其AI来源的元数据标签，旨在提高信任度并防止潜在的滥用。 3. 协作 - 聊天界面可以在共享服务器上支持多个用户与同一个上下文和模型进行交互。 4. 用户驱动 - Jupyter AI仅在用户明确指示时访问数据，避免了被动扫描代码或文件的情况。用户可以控制模型能访问到的内容。 5. 以人类为中心 - 界面基于常见的聊天应用程序和Jupyter魔法，为用户提供自然的体验，使界面更加熟悉。 为了展示Jupyter AI在实际应用中的作用，Jason在他的笔记本电脑上使用了一个本地运行的JupyterLab会话来进行实时命令操作。他加载了Jupyter AI魔法扩展以启用AI驱动的魔法。在请求列出提供的模型时，发现了包括Anthropic、Cohere、Google等提供商以及来自Hugging Face库的超过300,000个模型的注册表选项。 选择Anthropic Claude v1.2模型后，Jason输入了一个代码生成提示，以生成一个汇总假设机场延误时间的pandas数据框。该模型返回了看似可信的Python代码，用于生成所需的包含4个机场和平均延迟时间为10-24分钟的数据框。在经过开发者群体的评估后，确认了代码的质量，并将其认为是可以添加到生产系统中的方案。接着，Jason展示了如何利用一个提示让Jupyter AI解释代码中的错误，该提示包含了完整的错误输出并要求模型用简单的英语澄清问题。AI助手给出了一个关于导致错误的数据类型之间不匹配的清晰解释，并提出多个解决方案。 在聊天界面上，Jason展示了如何询问关于亚马逊云科技re:Invent期间典型天气的问题。借助其对会议地点和时间的专业知识，AI提供了合理的回应，表明平均气温为65-71°F (18-22°C)，最低气温为40多度F (7-8°C)。随后，他展示了聊天界面如何从笔记本中读取代码并以自然语言解释它。聊天界面甚至能够响应提示并用选定的代码替换代码，正如Jason所展示的那样，他要求将更多的机场添加到生成的数据帧代码中。 接下来，Piyush接手解释了并演示了Jupyter AI的一些更高级的功能。"学习"命令允许Jupyter AI摄入本地文件，如PDF、文档或其他非结构化数据源，以便在回答问题之前预存其知识。这避免了仅仅依赖模型现有知识的需要。Jupyter AI会根据提供的参数自动处理摄入、嵌入和索引所学到的数据。Piyush通过一个在学习内容上提问的例子来说明如何使用"学习"功能。 最后，Piyush介绍了"生成"功能，该功能可以根据单个字符提示创建整个笔记本。这是通过向模型发送一系列异步任务来实现的，以根据提示概述笔记本内容、生成Markdown、代码单元格等。Piyush使用该功能创建了一个介绍正则表达式的笔记本示例。尽管不完美，但Piyush指出，它提供了一个学习新主题的好起点。 总的来说，Jason总结了关键原则，如透明度、协作和人本设计，这些原则推动了作为开源项目的Jupyter AI的发展。他承认了来自同事、社区和Jupyter共同创始人之一Brian Granger的指导和支持。随着Jupyter AI具有代码生成、解释和自动化笔记本创建等功能，Jason和Piyush相信它可以增强交互式计算工作流，以扩充人类的能力。他们鼓励与会者在GitHub上参与该项目,以帮助推动未来的改进。 **下面是一些演讲现场的精彩瞬间：** 在亚马逊云科技re:Invent上，领导者亲自向现场和虚拟环境中的观众表示欢迎。  领导者强调了在将AI生成的代码部署到生产环境之前进行审查的重要性。  AI助手能够用简单的英语解释Python错误，从而帮助开发者更好地理解他们的代码。  领导者展示了两种解决方案，演示了如何在打印语句中组合不同数据类型，展示了高级代码调试技巧。  领导者展示了Claude如何自动修复代码中的错误。  领导者还展示了CodeWhisperer如何以简单的英语或其他语言（如法语）解释Python代码片段，实现了跨语言的协作和理解。  领导者鼓励与会者参观开发者解决方案区，与亚马逊云科技专家取得联系，并了解更多关于亚马逊云科技的开源信息。  ## 总结 简介：Jupiter AI是一个开源扩展，专为Jupiter Notebook设计，允许用户在他们的笔记本中利用大型语言模型（LLM）的力量。通过提供聊天界面和magic命令，Jupiter AI以透明、可追踪、协作和以人类为中心的方式与LLM互动。 关键功能： 1. Jupiter AI的聊天界面和magic命令使用户能够通过Anthropic Claude和AI21 J2-Jumbo等LLM来生成文本、编写代码、解释代码逻辑、调试错误以及优化代码。元数据标签和prompt确保了AI生成内容的高质量。 2. Jupiter AI能够从本地数据（如文档）中学习嵌入模型，并通过将查询嵌入与所学到的文档嵌入相结合，从而更准确地回答关于这些数据的自然语言问题。 3. Jupiter AI的“生成”命令可以将笔记本的大纲和内容作为任务异步发送给LLM，从而快速完成笔记本的原型设计。 总结：Jupiter AI的目标是增强人类的能力和工作流程，而非替代之。其供应商中立性、可追踪性、协作性、用户控制性和以人为本的用户界面设计原则使得LLM能够更好地支持交互式计算。Jupiter AI是开源项目，其未来发展方向将受到用户反馈的指导。 ## 演讲原文 ## 想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！ [2023亚马逊云科技re:Invent全球大会 - 官方网站](https://webinar.amazoncloud.cn/reInvent2023/?s=8739&smid=19458 "2023亚马逊云科技re:Invent全球大会 - 官方网站") [点击此处](https://aws.amazon.com/cn/new/?trk=6dd7cc20-6afa-4abf-9359-2d6976ff9600&trk=cndc-detail "点击此处")，一键获取亚马逊云科技全球最新产品/服务资讯！ [点击此处](https://www.amazonaws.cn/new/?trk=2ab098aa-0793-48b1-85e6-a9d261bd8cd4&trk=cndc-detail "点击此处")，一键获取亚马逊云科技中国区最新产品/服务资讯！ ## 即刻注册亚马逊云科技账户，开启云端之旅！ [【免费】亚马逊云科技“100 余种核心云服务产品免费试用”](https://aws.amazon.com/cn/campaigns/freecenter/?trk=f079813d-3a13-4a50-b67b-e31d930f36a4&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技“100 余种核心云服务产品免费试用“") [【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”](https://www.amazonaws.cn/campaign/CloudService/?trk=2cdb6245-f491-42bc-b931-c1693fe92be1&sc_channel=el&trk=cndc-detail "【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用“")