在亚马逊云科技上使用 PyTorch 训练和托管基础模型

<p>具有数千亿参数的基础模型激活了机器学习的新应用。OPT-175B、BLOOM、Jurassic、GPT-3 和 DALL-E 等模型展示了令人兴奋的文本和图像生成新用例，但训练和使用这些模型进行推理是一个新的挑战。在本次分享中，您将学习如何在亚马逊云科技上使用 PyTorch 大规模训练和使用基础模型。了解如何通过优化计算、网络通信、输入/输出、检查点以及从 GPU 到 CPU 的卸载来减少培训时间和成本。您还将学习如何选择正确的模型并行化策略和最佳方案来训练和使用这些模型。</p>