如何在 K8S 上玩转生成式 AI

大模型+RAG 工具在 AIGC 有很好的应用前景，K8S 也已成为事实上的基础设施标准，AIGC 和 K8S 的结合也是顺其自然，但是两者的结合在工程实践上有诸多挑战：如大模型的部署和服务化、容量扩展、版本升级；向量数据库的生命周期管理、高可用、横向扩展；作为应用数据管理的传统数据库的生命周期管理、备份、高可用；对云环境和 K8S 解决方案如 EKS 的适配。为了应对这些挑战，KubeBlocks 对数据库和大模型基于声明式 API 做了良好的抽象，并对常用的 day-2 operation 做了统一的支持，基于 KubeBlocks 我们可以快速实现 AIGC 开发环境构建、生产环境部署和各种运维管理操作。基于 KubeBlocks，我们开发了一款文档知识库管理应用 KubeChat，并且能在各种复杂环境中做到快速构建与交付。