如何在 K8S 上玩转生成式 AI

2023-10-31
视频简介
大模型+RAG 工具在 AIGC 有很好的应用前景,K8S 也已成为事实上的基础设施标准,AIGC 和 K8S 的结合也是顺其自然,但是两者的结合在工程实践上有诸多挑战:如大模型的部署和服务化、容量扩展、版本升级;向量数据库的生命周期管理、高可用、横向扩展;作为应用数据管理的传统数据库的生命周期管理、备份、高可用;对云环境和 K8S 解决方案如 EKS 的适配。为了应对这些挑战,KubeBlocks 对数据库和大模型基于声明式 API 做了良好的抽象,并对常用的 day-2 operation 做了统一的支持,基于 KubeBlocks 我们可以快速实现 AIGC 开发环境构建、生产环境部署和各种运维管理操作。基于 KubeBlocks,我们开发了一款文档知识库管理应用 KubeChat,并且能在各种复杂环境中做到快速构建与交付。
收藏
分享