机器学习多步时间序列预测解决方案

{"value":"#### **简介**\n\n近年来，随着[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)与深度学习的发展，以及 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail)\n([https://aws.amazon.com/cn/sagemaker/](https://aws.amazon.com/cn/sagemaker/))等[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)平台的成熟，数据科学家们不再需要关心底层的基础设施及构建复杂的训练与推理环境，从而可以把主要的时间与精力放在数据与算法本身。在[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)变得更容易的今天，越来越多的传统行业已经开始使用[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)算法来解决现实中的问题，降低成本及提升效率。在能源、制造及零售快消等传统行业中，多步回归预测任务是较为常见的业务场景之一。\n\n\n\n例如：您是一家超市的经理，想要预测未来几周的销售情况，并且已经获得了数百种产品的每日销售历史数据。您将面临的问题是什么样的？\n\n\n\n时间序列预测（如 ARIMA, Exponential Smoothing 等）可能会很自然地出现在您的脑海中。使用此类算法，您可以将产品的销量作为单独的时间序列，并根据其历史销量来推算其未来的销售额。\n\n\n\n然而，您可能会发现每个产品的销售并非独立的，它们之间或许存在着某种依赖性。例如，在夏天时，空调的销量会增加，同时羽绒服的销量会下降。当存在着多个变量时，我们就需要使用多变量时间序列预测(multi-variable time series forecasting)来处理变量间的相关性。\n\n\n\n此外，您希望的是预测未来几周的销售情况，而非仅仅预测明天的销量，因此，需要的是预测未来的多个时间步骤。这种预测未来的多个时间步长的任务被称为多步时间序列预测(multi-step time series forecasting)。多步时间序列预测通常有四种主要的方法：\n\n\n\n- 多步递归预测(recursive multi-step forecasting)\n- 多步直接预测(direct multi-step forecasting)\n- 直接&递归融合预测(direct-recursive hybrid forecasting)\n- 多输出预测(multiple output forecasting)\n\n\n\n下面我们会分别讲解这4种方法的原理，对比他们的性能，并在 SageMaker Notebook 中实现它们。可以在命令行执行下列命令，下载相关代码及数据集。\n\n\n\n```\\ngit clone https://github.com/aws-samples/multi-step-forecasting-blog-sample-code\\n```\n\n\n#### **多步递归预测(recursive multi-step forecasting)**\n\n多步递归预测在单步预测的基础上，把下一步的预测值作为输入，来进行迭代预测。需要注意的是：在多变量的多步回归分析中，由于存在外部变量作为输入，需要同时预测外部变量。多步递归的过程如下图所示：\n\n\n\n\n优点：\n\n\n\n- 需要的模型数量固定\n- 计算量较低\n- 预测的偏差(bias)相对于多步直接预测（后面会讲到）较低\n\n\n\n缺点：\n\n\n\n- 由于使用上一步的预测值作为输入，预测误差会随着时间传递扩大，预测的方差(variance)较高\n\n\n\n\n下面我们结合多变量回归分析，来实现多步递归预测。数据集\n([https://aws.amazon.com/cn/blogs/china/machine-learning-multi-step-time-series-prediction-solution/](https://aws.amazon.com/cn/blogs/china/machine-learning-multi-step-time-series-prediction-solution/))\n使用 Wage Growth and the Inflation Process: An Empirical Approach 论文中的公开数据集，涵盖1959年 Q1 至1988年 Q4 的工资数据。数据集共有123行和8列，列的定义：\n\n\n\nrgnp : 预测目标，实际 GNP(gross national product，国民生产总值)\n\n1. pgnp : 潜在 GNP\n2. ulc : 单位劳动成本\n3. gdfco : 不包括食物和能源在内的个人消费支出的固定权重平减指数\n4. gdf : 固定重量 GNP 缩减指数\n5. gdfim : 定量进口减缩指数\n6. gdfcf : 个人消费支出中食品的固定重量平减指数\n7. gdfce : 个人消费支出中能量的固定权重平减指数\n\n\n\n在进行建模前，我们先查看一下每个变量的走势，可以看到8个变量均为向上趋势，各个变量间有一定相关性。此外，可以看到数据没有季节性(seasonality)，因此，我们在后续的建模过程中未加入季节性相关的处理。\n\n\n\n\n在编写代码前，首先需要在 Amazon console 中创建 SageMaker Notebook，并运行下列 cell 安装所需的库。\n\n\n\n```\\n! pip install lightgbm\\n```\n\n\n\n我们的预测目标是 rgnp，也就是实际的国民生产总值。我们希望预测未来一年，也就是12个月中，每个月的国民生产总值。接下来，让我们进入代码部分。我们的代码使用的基础模型是 LightGBM，您也可以根据自己的需求选择其他任何回归算法。\n\n\n\n首先，加载数据集：\n\n```\\nimport pandas as pd\\nimport numpy as np\\nimport lightgbm as lgb\\nfrom sklearn.metrics import mean_squared_error\\nfrom sklearn.multioutput import MultiOutputRegressor\\n\\ndf = pd.read_csv('Raotbl6.csv')\\n\\n# 将date作为索引\\ndf['date'] = pd.to_datetime(df['date'])\\ndf.index = df['date']\\ndf.drop('date', axis=1, inplace=True)\\n以 8：2 来分割训练集与测试集\\ntarget = 'rgnp'\\n\\nX_train = df[: int(len(df) * 0.8)]\\ny_train = df[: int(len(df) * 0.8)]\\n\\nX_test = df[int(len(df) * 0.8) :]\\ny_test = df[int(len(df) * 0.8) :]\\n```\n\n\n构建模型，由于迭代预测需要知道全部变量未来的值，因此模型除了预测目标变量，还要预测每一个变量。\n\n\n\nMultiOutputRegressor 使用相同的 feature 来预测多个目标，通过该对象，可以针对每个目标训练出一个回归器。\n\n\n\n```\\nmodel = MultiOutputRegressor(lgb.LGBMRegressor(objective='regression')).fit(X_train, y_train)\\n```\n\n\n\n左滑查看更多\n\n\n\n迭代预测，每次预测全部变量的未来值，共预测12次（一年）。\n\n\n```\\nresults = []\\ndata = X_test\\nfor i in range(12):\\n data = pd.DataFrame(model.predict(data), columns=data.columns, index=data.index)\\n results.append(data)\\n接下来，我们看一下预测结果，我们以MAE(mean average error)作为评价标准。\\n# make future targets\\nfor i in range(12):\\n df['rgnp_{}'.format(i)] = df['rgnp'].shift(-i)\\n\\ndf.dropna(inplace=True)\\ndf.drop('rgnp', axis=1, inplace=True)\\n\\ntargets = [item for item in df.columns if 'rgnp' in item]\\n\\nX_train = df.drop(targets, axis=1)[: int(len(df) * 0.8)]\\ny_train = df[targets][: int(len(df) * 0.8)]\\n\\nX_test = df.drop(targets, axis=1)[int(len(df) * 0.8) :]\\ny_test = df[targets][int(len(df) * 0.8) :]\\n\\n(y_test - pred).abs().mean()\\n\\n```\n\n\n\n\n我们可以看到，随着预测距离逐渐变远，我们的预测准确率会变得越来越低。这个结果也是合理的，因为预测误差会不断向后传递。\n\n#### **多步直接预测(direct multi-step forecasting)**\n\n多步直接预测的逻辑是训练多个模型，每个模型负责预测未来一个时间步的值。\n\n\n\n优点：\n\n\n\n- 与递归预测相比，由于不会误差传递，预测方差(variance)更低\n\n\n\n缺点：\n\n\n\n- 预测较多时间步时，计算效率低（需要预测多少时间步，就需要训练多少个模型）\n- 与递归预测相比，预测偏差(bias)较高，因为较远的目标无法获取与其相近的数据\n\n\n\n\n\n接下来，我们在同样的数据集上使用直接预测来进行多步时间序列分析。\n\n\n\n使用同样的方法来加载数据：\n\n\n\n```\\nimport pandas as pd\\nimport numpy as np\\nimport lightgbm as lgb\\nfrom sklearn.metrics import mean_squared_error\\nfrom sklearn.multioutput import MultiOutputRegressor\\n\\ndf = pd.read_csv('Raotbl6.csv')\\ndf['date'] = pd.to_datetime(df['date'])\\ndf.index = df['date']\\ndf.drop('date', axis=1, inplace=True)\\n为每个未来的时间步创建一列\\n# make future targets\\nfor i in range(12):\\n df['rgnp_{}'.format(i)] = df['rgnp'].shift(-i-1)\\n\\ndf.dropna(inplace=True)\\n```\n\n分割训练集与测试集：\n\n\n\n```\\ntargets = [item for item in df.columns if 'rgnp_' in item]\\n\\nX_train = df.drop(targets, axis=1)[: int(len(df) * 0.8)]\\ny_train = df[targets][: int(len(df) * 0.8)]\\n\\nX_test = df.drop(targets, axis=1)[int(len(df) * 0.8) :]\\ny_test = df[targets][int(len(df) * 0.8) :]\\n\\nmodel = MultiOutputRegressor(lgb.LGBMRegressor(objective='regression')).fit(X_train, y_train)\\n```\n\n\n查看预测结果：\n\n\n\n```\\npred = pd.DataFrame(model.predict(X_test), columns=targets)\\npred.index = y_test.index\\n(y_test - pred).abs().mean()\\n```\n\n我们可以看到，预测的误差也是随着时间步的拉远变大，但与递归预测相比，误差的损失变得更小了。这是直接预测算法的优越性，由于 variance 更低，预测远距离时间步会更准确。\n\n\n\n#### **多步直接&递归融合预测(direct-recursive hybrid forecasting)**\n\n多步递归预测与多步直接预测各有千秋，递归预测的 bias 低，但 variance 高。而直接预测则是 variance 低，但 bias 高。\n\n\n\n那么是否有一种方法可以结合两者呢？答案是肯定的，这种方法叫做直接&递归融合预测。\n\n\n\n直接&递归融合预测的具体实施方法有很多种，下面我们以其中一种方法举例：\n\n\n\n1. 创建递归模型\n2. 创建直接预测模型，但预测模型的输入还包括递归模型在先前时间步中所做的预测作为输入值\n\n\n\n优点：\n\n\n\n- 结合直接预测来在一定程度上避免误差传播，降低了预测方差（variance）\n- 结合递归预测，拥有较低的预测偏差（bias）\n\n\n\n缺点：\n\n- 计算量比前面两种方法更大\n- 实现复杂度较高\n\n\n\n\n同样的，我们先加载数据集：\n\n\n\n```\\nimport pandas as pd\\nimport numpy as np\\nimport lightgbm as lgb\\nfrom sklearn.metrics import mean_squared_error\\nfrom sklearn.multioutput import MultiOutputRegressor\\n\\ndf = pd.read_csv('Raotbl6.csv')\\ndf['date'] = pd.to_datetime(df['date'])\\ndf.index = df['date']\\ndf.drop('date', axis=1, inplace=True)\\n```\n\n\n训练递归模型：\n\n\n\n```\\ntarget = 'rgnp'\\n\\nX_train = df[: int(len(df) * 0.8)].iloc[:-1]\\ny_train = df[: int(len(df) * 0.8)].shift(-1).dropna()\\n\\nX_test = df[int(len(df) * 0.8) :].iloc[:-1]\\ny_test = df[int(len(df) * 0.8) :].shift(-1).dropna()\\n\\nmodel = MultiOutputRegressor(lgb.LGBMRegressor(objective='regression')).fit(X_train, y_train)\\n\\n```\n\n\n\n\n\n取得递归模型的预测结果：\n\n\n```\\nresults = []\\ndata = X_test\\nfor i in range(12):\\n data = pd.DataFrame(model.predict(data), columns=data.columns, index=data.index)\\n results.append(data)\\n```\n\n\n为直接模型构建基础特征：\n\n\n\n```\\n# make future targets \\nfor i in range(12):\\n df['rgnp_{}'.format(i+1)] = df['rgnp'].shift(-i-1)\\n\\ndf.dropna(inplace=True)\\n\\ntargets = [item for item in df.columns if 'rgnp_' in item]\\n\\nX_train = df.drop(targets, axis=1)[: int(len(df) * 0.8)]\\ny_train = df[targets][: int(len(df) * 0.8)]\\n\\nX_test = df.drop(targets, axis=1)[int(len(df) * 0.8) :]\\ny_test = df[targets][int(len(df) * 0.8) :]\\n```\n\n\n训练直接模型，每次把上一步的递归模型的预测值也作为特征来训练模型。\n\n\n\n```\\nmodels = []\\nfor i in range(1, 13):\\n\\n model = lgb.LGBMRegressor(objective='regression').fit(X_train, y_train['rgnp_{}'.format(i)])\\n X_train['rgnp_{}'.format(i)] = y_train['rgnp_{}'.format(i)]\\n models.append(model)\\n```\n\n\n使用直接模型来做预测：\n\n\n\n```\\nfinal_results = []\\n\\nfor i in range(12):\\n final_results.append(models[i].predict(X_test))\\n X_test['rgnp_{}'.format(i + 1)] = results[i]['rgnp']\\n```\n\n\n\n\n我们可以看到，递归&直接预测融合模型的误差要低于递归预测或直接预测的模型。当然，基于 no free lunch 原则，我们无法完全确定融合方法要好于单独方法。\n\n#### **多输出预测(multiple output forecasting)**\n\n前面3种方法中，我们可以计算出输入间的相关性，但无法计算输出间的相关性。而多输出预测，则是使用一个神经网络模型预测整个预测序列，每个权重对每个输出都有影响，因此模型会同时学习到输入与输出的相关性。\n\n\n\n优点：\n\n\n\n- 不会有误差传递风险\n- 同时学习多个输出，能够找到每个时间步的关联\n- 由于神经网络的特殊性，对特征工程能力的要求较低\n\n\n\n缺点：\n\n\n\n- 计算量过大\n- 只能使用神经网络，不能使用 tree-based 模型\n- 会有过拟合的风险，需要较多数据\n\n\n\n\n接下来以 PyTorch 为例，来进行预测。本案例使用 SageMaker Notebook 的 conda_pytorch_p38 kernel，无需自行安装 PyTorch 库。\n\n\n\n\n```\\nimport pandas as pd\\n\\nimport torch\\nimport torch.nn as nn\\nfrom torch.utils.data import Dataset, DataLoader\\nimport torch.optim as optim\\n\\nimport pandas as pd\\nimport numpy as np\\nimport lightgbm as lgb\\nfrom sklearn.metrics import mean_squared_error\\n\\ndf = pd.read_csv('Raotbl6.csv')\\ndf['date'] = pd.to_datetime(df['date'])\\ndf.index = df['date']\\ndf.drop('date', axis=1, inplace=True)\\n\\n# make future targets\\nfor i in range(12):\\n df['rgnp_{}'.format(i)] = df['rgnp'].shift(-i-1)\\n\\ndf.dropna(inplace=True)\\n\\ntargets = [item for item in df.columns if 'rgnp_' in item]\\n\\nX_train = df.drop(targets, axis=1)[: int(len(df) * 0.8)]\\ny_train = df[targets][: int(len(df) * 0.8)]\\n\\nX_test = df.drop(targets, axis=1)[int(len(df) * 0.8) :]\\ny_test = df[targets][int(len(df) * 0.8) :]\\n```\n\n构建数据集类，用于训练数据。\n\n\n\n```\\nclass Raotbl6Dataset(Dataset):\\n \\"\\"\\"Face Landmarks dataset.\\"\\"\\"\\n\\n def __init__(self, X_train, y_train):\\n self.X_train = X_train\\n self.y_train = y_train\\n\\n\\n def __len__(self):\\n return len(self.X_train)\\n\\n def __getitem__(self, idx):\\n\\n if torch.is_tensor(idx):\\n idx = idx.tolist()\\n\\n X = torch.Tensor(self.X_train.iloc[idx].values)\\n y = torch.Tensor(self.y_train.iloc[idx].values)\\n return X, y\\n```\n\n\n构建模型类，由于数据集非常小，所以只使用一个隐含层的神经网络。\n\n\n\n```\\nclass Model(nn.Module):\\n def __init__(self, in_feats, out_feats=12, hidden_units=32):\\n super(Model, self).__init__()\\n\\n self.net = nn.Sequential(\\n nn.Linear(in_feats, hidden_units),\\n nn.ReLU(),\\n nn.Linear(hidden_units, out_feats)\\n )\\n\\n def forward(self, x):\\n return self.net(x)\\n```\n\n训练模型，由于数据集的数据量太少，因此训练500轮来尽量提升模型性能。\n\n\n\n```\\nNUM_EPOCHS = 500\\nLEARNING_RATE = 2e-4\\ndevice = 'cuda' if torch.cuda.is_available() else 'cpu'\\n\\n\\n\\ndataset = Raotbl6Dataset(X_train, y_train)\\ndataloader = DataLoader(dataset,batch_size=32, shuffle=True)\\ncriterion = torch.nn. MSELoss()\\n\\nmodel = Model(8).to(device)\\nopt = optim.Adam(model.parameters(), lr=LEARNING_RATE, betas=(0.5, 0.999))\\n\\nfor epoch in range(NUM_EPOCHS):\\n model.train()\\n for batch_idx, (X, y) in enumerate(dataloader):\\n\\n X, y = X.to(device), y.to(device)\\n pred = model(X)\\n loss = criterion(y, pred)\\n\\n model.zero_grad()\\n loss.backward()\\n opt.step()\\n print(\\n f\\"Epoch [{epoch}/{NUM_EPOCHS}] \\\\\\n ERROR: {loss:.4f}\\"\\n )\\n\\npred = pd.DataFrame(model(torch.Tensor(X_test.values).to(device)), columns=y_test.columns, index=y_test.index\\n(y_test - pred).abs().mean()\\n```\n\n\n\n\n\n可以看到，由于神经网络足够简单，即使只有100条数据并训练了500轮，也并没有过拟合，它的性能也超过前面3种方法较多，这其中也与前面3种方法没有花费时间调参有关。\n\n#### **总结**\n\n本篇文章中，我们展示了4种基于[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)进行多步时间序列预测的方法。下列表格中分别列出了各个算法的优缺点。\n\n\n\n\n多步时间序列预测问题在传统行业中尤为常见，很多亚马逊云科技的客户面临类似问题。在[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)任务中，除了构建模型外，还需关注后续模型在实际使用中的表现，并定期更新及优化。[Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) 提供了完整的模型训练、部署及监控工作流，可大幅度降低[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)开发难度。此外，在一些常见的业务场景下，也可以利用 [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Canvas 或 [Amazon Forecast](https://aws.amazon.com/cn/forecast/?trk=cndc-detail) 等工具来基于 UI 进行建模，不需要关心算法本身的同时还能得到不错的效果。\n\n\n\n亚马逊云科技专业技术服务团队旨在为客户提供基于亚马逊云科技的专业咨询服务，种类包括业务创新、迁移、关键业务应用上云、云原生架构和微服务改造、大数据、[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)、DevOps、容灾、安全等，以强大的亚马逊云科技云服务帮助企业客户完成云端迁移。其中，隶属于专业技术服务团队下的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)团队具有丰富的人工智能行业解决经验，可在为客户提供亚马逊云科技云上 AI 模型开发方面的咨询。\n\n\n\n- [Amazon SageMaker](https://aws.amazon.com/cn/sagemaker/?trk=cndc-detail) Canvas：\n[https://aws.amazon.com/cn/sagemaker/canvas/](https://aws.amazon.com/cn/sagemaker/canvas/)\n\n- [Amazon Forecast](https://aws.amazon.com/cn/forecast/?trk=cndc-detail) ：\n[https://aws.amazon.com/cn/forecast/](https://aws.amazon.com/cn/forecast/)\n\n- 专业技术服务团队：\n[https://aws.amazon.com/cn/professional-services/](https://aws.amazon.com/cn/professional-services/)\n\n\n##### **本篇作者**\n\n**刘明**\n\n亚马逊云科技专业服务团队数据科学家。在[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)、深度学习、数据挖掘及模型部署开发拥有扎实经验。深度参与过能源、医疗、教育、媒体等行业的[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)应用搭建及数据平台建设。\n\n**陈恒智**\n\n亚马逊云科技专业服务团队数据科学家。\n\n**王畇**\n\n亚马逊云科技专业服务团队助理数据科学家。在传统[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)、计算机视觉、强化学习以及数据分析领域拥有多年经验，深度参与过生物识别、智慧供热等多个不同行业的人工智能项目，拥有丰富的实战经验。","render":"<h4><a id=\\"_0\\"></a><strong>简介</strong></h4>\\n<p>近年来，随着机器学习与深度学习的发展，以及 Amazon SageMaker<br />\\n(<a href=\\"https://aws.amazon.com/cn/sagemaker/\\" target=\\"_blank\\">https://aws.amazon.com/cn/sagemaker/</a>)等[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)平台的成熟，数据科学家们不再需要关心底层的基础设施及构建复杂的训练与推理环境，从而可以把主要的时间与精力放在数据与算法本身。在[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)变得更容易的今天，越来越多的传统行业已经开始使用[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)算法来解决现实中的问题，降低成本及提升效率。在能源、制造及零售快消等传统行业中，多步回归预测任务是较为常见的业务场景之一。</p>\\n<p>例如：您是一家超市的经理，想要预测未来几周的销售情况，并且已经获得了数百种产品的每日销售历史数据。您将面临的问题是什么样的？</p>\n<p>时间序列预测（如 ARIMA, Exponential Smoothing 等）可能会很自然地出现在您的脑海中。使用此类算法，您可以将产品的销量作为单独的时间序列，并根据其历史销量来推算其未来的销售额。</p>\n<p>然而，您可能会发现每个产品的销售并非独立的，它们之间或许存在着某种依赖性。例如，在夏天时，空调的销量会增加，同时羽绒服的销量会下降。当存在着多个变量时，我们就需要使用多变量时间序列预测(multi-variable time series forecasting)来处理变量间的相关性。</p>\n<p>此外，您希望的是预测未来几周的销售情况，而非仅仅预测明天的销量，因此，需要的是预测未来的多个时间步骤。这种预测未来的多个时间步长的任务被称为多步时间序列预测(multi-step time series forecasting)。多步时间序列预测通常有四种主要的方法：</p>\n<ul>\\n<li>多步递归预测(recursive multi-step forecasting)</li>\n<li>多步直接预测(direct multi-step forecasting)</li>\n<li>直接&amp;递归融合预测(direct-recursive hybrid forecasting)</li>\n<li>多输出预测(multiple output forecasting)</li>\n</ul>\\n<p>下面我们会分别讲解这4种方法的原理，对比他们的性能，并在 SageMaker Notebook 中实现它们。可以在命令行执行下列命令，下载相关代码及数据集。</p>\n<pre><code class=\\"lang-\\">git clone https://github.com/aws-samples/multi-step-forecasting-blog-sample-code\\n</code></pre>\\n<h4><a id=\\"recursive_multistep_forecasting_39\\"></a><strong>多步递归预测(recursive multi-step forecasting)</strong></h4>\\n<p>多步递归预测在单步预测的基础上，把下一步的预测值作为输入，来进行迭代预测。需要注意的是：在多变量的多步回归分析中，由于存在外部变量作为输入，需要同时预测外部变量。多步递归的过程如下图所示：</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/8253972d984944a59d02732cc5b6a28e_image.png\\" alt=\\"image.png\\" /></p>\n<p>优点：</p>\n<ul>\\n<li>需要的模型数量固定</li>\n<li>计算量较低</li>\n<li>预测的偏差(bias)相对于多步直接预测（后面会讲到）较低</li>\n</ul>\\n<p>缺点：</p>\n<ul>\\n<li>由于使用上一步的预测值作为输入，预测误差会随着时间传递扩大，预测的方差(variance)较高</li>\n</ul>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/6efeb89163ff496daa8a600af5e5538c_image.png\\" alt=\\"image.png\\" /></p>\n<p>下面我们结合多变量回归分析，来实现多步递归预测。数据集<br />\\n(<a href=\\"https://aws.amazon.com/cn/blogs/china/machine-learning-multi-step-time-series-prediction-solution/\\" target=\\"_blank\\">https://aws.amazon.com/cn/blogs/china/machine-learning-multi-step-time-series-prediction-solution/</a>)<br />\\n使用 Wage Growth and the Inflation Process: An Empirical Approach 论文中的公开数据集，涵盖1959年 Q1 至1988年 Q4 的工资数据。数据集共有123行和8列，列的定义：</p>\n<p>rgnp : 预测目标，实际 GNP(gross national product，国民生产总值)</p>\n<ol>\\n<li>pgnp : 潜在 GNP</li>\n<li>ulc : 单位劳动成本</li>\n<li>gdfco : 不包括食物和能源在内的个人消费支出的固定权重平减指数</li>\n<li>gdf : 固定重量 GNP 缩减指数</li>\n<li>gdfim : 定量进口减缩指数</li>\n<li>gdfcf : 个人消费支出中食品的固定重量平减指数</li>\n<li>gdfce : 个人消费支出中能量的固定权重平减指数</li>\n</ol>\\n<p>在进行建模前，我们先查看一下每个变量的走势，可以看到8个变量均为向上趋势，各个变量间有一定相关性。此外，可以看到数据没有季节性(seasonality)，因此，我们在后续的建模过程中未加入季节性相关的处理。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/d5990c27fbb1405bafa2b0e3ba198b65_image.png\\" alt=\\"image.png\\" /></p>\n<p>在编写代码前，首先需要在 Amazon console 中创建 SageMaker Notebook，并运行下列 cell 安装所需的库。</p>\n<pre><code class=\\"lang-\\">! pip install lightgbm\\n</code></pre>\\n<p>我们的预测目标是 rgnp，也就是实际的国民生产总值。我们希望预测未来一年，也就是12个月中，每个月的国民生产总值。接下来，让我们进入代码部分。我们的代码使用的基础模型是 LightGBM，您也可以根据自己的需求选择其他任何回归算法。</p>\n<p>首先，加载数据集：</p>\n<pre><code class=\\"lang-\\">import pandas as pd\\nimport numpy as np\\nimport lightgbm as lgb\\nfrom sklearn.metrics import mean_squared_error\\nfrom sklearn.multioutput import MultiOutputRegressor\\n\\ndf = pd.read_csv('Raotbl6.csv')\\n\\n# 将date作为索引\\ndf['date'] = pd.to_datetime(df['date'])\\ndf.index = df['date']\\ndf.drop('date', axis=1, inplace=True)\\n以 8：2 来分割训练集与测试集\\ntarget = 'rgnp'\\n\\nX_train = df[: int(len(df) * 0.8)]\\ny_train = df[: int(len(df) * 0.8)]\\n\\nX_test = df[int(len(df) * 0.8) :]\\ny_test = df[int(len(df) * 0.8) :]\\n</code></pre>\\n<p>构建模型，由于迭代预测需要知道全部变量未来的值，因此模型除了预测目标变量，还要预测每一个变量。</p>\n<p>MultiOutputRegressor 使用相同的 feature 来预测多个目标，通过该对象，可以针对每个目标训练出一个回归器。</p>\n<pre><code class=\\"lang-\\">model = MultiOutputRegressor(lgb.LGBMRegressor(objective='regression')).fit(X_train, y_train)\\n</code></pre>\\n<p>左滑查看更多</p>\n<p>迭代预测，每次预测全部变量的未来值，共预测12次（一年）。</p>\n<pre><code class=\\"lang-\\">results = []\\ndata = X_test\\nfor i in range(12):\\n data = pd.DataFrame(model.predict(data), columns=data.columns, index=data.index)\\n results.append(data)\\n接下来，我们看一下预测结果，我们以MAE(mean average error)作为评价标准。\\n# make future targets\\nfor i in range(12):\\n df['rgnp_{}'.format(i)] = df['rgnp'].shift(-i)\\n\\ndf.dropna(inplace=True)\\ndf.drop('rgnp', axis=1, inplace=True)\\n\\ntargets = [item for item in df.columns if 'rgnp' in item]\\n\\nX_train = df.drop(targets, axis=1)[: int(len(df) * 0.8)]\\ny_train = df[targets][: int(len(df) * 0.8)]\\n\\nX_test = df.drop(targets, axis=1)[int(len(df) * 0.8) :]\\ny_test = df[targets][int(len(df) * 0.8) :]\\n\\n(y_test - pred).abs().mean()\\n\\n</code></pre>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/ea69541e7c1546938dd93fb329bdc22f_image.png\\" alt=\\"image.png\\" /></p>\n<p>我们可以看到，随着预测距离逐渐变远，我们的预测准确率会变得越来越低。这个结果也是合理的，因为预测误差会不断向后传递。</p>\n<h4><a id=\\"direct_multistep_forecasting_180\\"></a><strong>多步直接预测(direct multi-step forecasting)</strong></h4>\\n<p>多步直接预测的逻辑是训练多个模型，每个模型负责预测未来一个时间步的值。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/9ede8783328b4d87b1a15bda139a4fec_image.png\\" alt=\\"image.png\\" /></p>\n<p>优点：</p>\n<ul>\\n<li>与递归预测相比，由于不会误差传递，预测方差(variance)更低</li>\n</ul>\\n<p>缺点：</p>\n<ul>\\n<li>预测较多时间步时，计算效率低（需要预测多少时间步，就需要训练多少个模型）</li>\n<li>与递归预测相比，预测偏差(bias)较高，因为较远的目标无法获取与其相近的数据</li>\n</ul>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/9ac8025492744e57acec3b3d94dd7e5a_image.png\\" alt=\\"image.png\\" /></p>\n<p>接下来，我们在同样的数据集上使用直接预测来进行多步时间序列分析。</p>\n<p>使用同样的方法来加载数据：</p>\n<pre><code class=\\"lang-\\">import pandas as pd\\nimport numpy as np\\nimport lightgbm as lgb\\nfrom sklearn.metrics import mean_squared_error\\nfrom sklearn.multioutput import MultiOutputRegressor\\n\\ndf = pd.read_csv('Raotbl6.csv')\\ndf['date'] = pd.to_datetime(df['date'])\\ndf.index = df['date']\\ndf.drop('date', axis=1, inplace=True)\\n为每个未来的时间步创建一列\\n# make future targets\\nfor i in range(12):\\n df['rgnp_{}'.format(i)] = df['rgnp'].shift(-i-1)\\n\\ndf.dropna(inplace=True)\\n</code></pre>\\n<p>分割训练集与测试集：</p>\n<pre><code class=\\"lang-\\">targets = [item for item in df.columns if 'rgnp_' in item]\\n\\nX_train = df.drop(targets, axis=1)[: int(len(df) * 0.8)]\\ny_train = df[targets][: int(len(df) * 0.8)]\\n\\nX_test = df.drop(targets, axis=1)[int(len(df) * 0.8) :]\\ny_test = df[targets][int(len(df) * 0.8) :]\\n\\nmodel = MultiOutputRegressor(lgb.LGBMRegressor(objective='regression')).fit(X_train, y_train)\\n</code></pre>\\n<p>查看预测结果：</p>\n<pre><code class=\\"lang-\\">pred = pd.DataFrame(model.predict(X_test), columns=targets)\\npred.index = y_test.index\\n(y_test - pred).abs().mean()\\n</code></pre>\\n<p>我们可以看到，预测的误差也是随着时间步的拉远变大，但与递归预测相比，误差的损失变得更小了。这是直接预测算法的优越性，由于 variance 更低，预测远距离时间步会更准确。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/fac9beee0cad44349fb10f02aa99be2c_image.png\\" alt=\\"image.png\\" /></p>\n<h4><a id=\\"directrecursive_hybrid_forecasting_263\\"></a><strong>多步直接&amp;递归融合预测(direct-recursive hybrid forecasting)</strong></h4>\\n<p>多步递归预测与多步直接预测各有千秋，递归预测的 bias 低，但 variance 高。而直接预测则是 variance 低，但 bias 高。</p>\n<p>那么是否有一种方法可以结合两者呢？答案是肯定的，这种方法叫做直接&amp;递归融合预测。</p>\n<p>直接&amp;递归融合预测的具体实施方法有很多种，下面我们以其中一种方法举例：</p>\n<ol>\\n<li>创建递归模型</li>\n<li>创建直接预测模型，但预测模型的输入还包括递归模型在先前时间步中所做的预测作为输入值</li>\n</ol>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/57c103be71174bb4bbaa280df5e4cba5_image.png\\" alt=\\"image.png\\" /></p>\n<p>优点：</p>\n<ul>\\n<li>结合直接预测来在一定程度上避免误差传播，降低了预测方差（variance）</li>\n<li>结合递归预测，拥有较低的预测偏差（bias）</li>\n</ul>\\n<p>缺点：</p>\n<ul>\\n<li>计算量比前面两种方法更大</li>\n<li>实现复杂度较高</li>\n</ul>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/36bca87bb03442039846c4bd7ad2f438_image.png\\" alt=\\"image.png\\" /></p>\n<p>同样的，我们先加载数据集：</p>\n<pre><code class=\\"lang-\\">import pandas as pd\\nimport numpy as np\\nimport lightgbm as lgb\\nfrom sklearn.metrics import mean_squared_error\\nfrom sklearn.multioutput import MultiOutputRegressor\\n\\ndf = pd.read_csv('Raotbl6.csv')\\ndf['date'] = pd.to_datetime(df['date'])\\ndf.index = df['date']\\ndf.drop('date', axis=1, inplace=True)\\n</code></pre>\\n<p>训练递归模型：</p>\n<pre><code class=\\"lang-\\">target = 'rgnp'\\n\\nX_train = df[: int(len(df) * 0.8)].iloc[:-1]\\ny_train = df[: int(len(df) * 0.8)].shift(-1).dropna()\\n\\nX_test = df[int(len(df) * 0.8) :].iloc[:-1]\\ny_test = df[int(len(df) * 0.8) :].shift(-1).dropna()\\n\\nmodel = MultiOutputRegressor(lgb.LGBMRegressor(objective='regression')).fit(X_train, y_train)\\n\\n</code></pre>\\n<p>取得递归模型的预测结果：</p>\n<pre><code class=\\"lang-\\">results = []\\ndata = X_test\\nfor i in range(12):\\n data = pd.DataFrame(model.predict(data), columns=data.columns, index=data.index)\\n results.append(data)\\n</code></pre>\\n<p>为直接模型构建基础特征：</p>\n<pre><code class=\\"lang-\\"># make future targets \\nfor i in range(12):\\n df['rgnp_{}'.format(i+1)] = df['rgnp'].shift(-i-1)\\n\\ndf.dropna(inplace=True)\\n\\ntargets = [item for item in df.columns if 'rgnp_' in item]\\n\\nX_train = df.drop(targets, axis=1)[: int(len(df) * 0.8)]\\ny_train = df[targets][: int(len(df) * 0.8)]\\n\\nX_test = df.drop(targets, axis=1)[int(len(df) * 0.8) :]\\ny_test = df[targets][int(len(df) * 0.8) :]\\n</code></pre>\\n<p>训练直接模型，每次把上一步的递归模型的预测值也作为特征来训练模型。</p>\n<pre><code class=\\"lang-\\">models = []\\nfor i in range(1, 13):\\n\\n model = lgb.LGBMRegressor(objective='regression').fit(X_train, y_train['rgnp_{}'.format(i)])\\n X_train['rgnp_{}'.format(i)] = y_train['rgnp_{}'.format(i)]\\n models.append(model)\\n</code></pre>\\n<p>使用直接模型来做预测：</p>\n<pre><code class=\\"lang-\\">final_results = []\\n\\nfor i in range(12):\\n final_results.append(models[i].predict(X_test))\\n X_test['rgnp_{}'.format(i + 1)] = results[i]['rgnp']\\n</code></pre>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/f05dc0b750ba49e68d56143f442a221c_image.png\\" alt=\\"image.png\\" /></p>\n<p>我们可以看到，递归&amp;直接预测融合模型的误差要低于递归预测或直接预测的模型。当然，基于 no free lunch 原则，我们无法完全确定融合方法要好于单独方法。</p>\n<h4><a id=\\"multiple_output_forecasting_402\\"></a><strong>多输出预测(multiple output forecasting)</strong></h4>\\n<p>前面3种方法中，我们可以计算出输入间的相关性，但无法计算输出间的相关性。而多输出预测，则是使用一个神经网络模型预测整个预测序列，每个权重对每个输出都有影响，因此模型会同时学习到输入与输出的相关性。</p>\n<p>优点：</p>\n<ul>\\n<li>不会有误差传递风险</li>\n<li>同时学习多个输出，能够找到每个时间步的关联</li>\n<li>由于神经网络的特殊性，对特征工程能力的要求较低</li>\n</ul>\\n<p>缺点：</p>\n<ul>\\n<li>计算量过大</li>\n<li>只能使用神经网络，不能使用 tree-based 模型</li>\n<li>会有过拟合的风险，需要较多数据</li>\n</ul>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/925ec84b9c3e400a8d79e920e894e42c_image.png\\" alt=\\"image.png\\" /></p>\n<p>接下来以 PyTorch 为例，来进行预测。本案例使用 SageMaker Notebook 的 conda_pytorch_p38 kernel，无需自行安装 PyTorch 库。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/de9d9310508b4dff86098c31a0c37b18_image.png\\" alt=\\"image.png\\" /></p>\n<pre><code class=\\"lang-\\">import pandas as pd\\n\\nimport torch\\nimport torch.nn as nn\\nfrom torch.utils.data import Dataset, DataLoader\\nimport torch.optim as optim\\n\\nimport pandas as pd\\nimport numpy as np\\nimport lightgbm as lgb\\nfrom sklearn.metrics import mean_squared_error\\n\\ndf = pd.read_csv('Raotbl6.csv')\\ndf['date'] = pd.to_datetime(df['date'])\\ndf.index = df['date']\\ndf.drop('date', axis=1, inplace=True)\\n\\n# make future targets\\nfor i in range(12):\\n df['rgnp_{}'.format(i)] = df['rgnp'].shift(-i-1)\\n\\ndf.dropna(inplace=True)\\n\\ntargets = [item for item in df.columns if 'rgnp_' in item]\\n\\nX_train = df.drop(targets, axis=1)[: int(len(df) * 0.8)]\\ny_train = df[targets][: int(len(df) * 0.8)]\\n\\nX_test = df.drop(targets, axis=1)[int(len(df) * 0.8) :]\\ny_test = df[targets][int(len(df) * 0.8) :]\\n</code></pre>\\n<p>构建数据集类，用于训练数据。</p>\n<pre><code class=\\"lang-\\">class Raotbl6Dataset(Dataset):\\n &quot;&quot;&quot;Face Landmarks dataset.&quot;&quot;&quot;\\n\\n def __init__(self, X_train, y_train):\\n self.X_train = X_train\\n self.y_train = y_train\\n\\n\\n def __len__(self):\\n return len(self.X_train)\\n\\n def __getitem__(self, idx):\\n\\n if torch.is_tensor(idx):\\n idx = idx.tolist()\\n\\n X = torch.Tensor(self.X_train.iloc[idx].values)\\n y = torch.Tensor(self.y_train.iloc[idx].values)\\n return X, y\\n</code></pre>\\n<p>构建模型类，由于数据集非常小，所以只使用一个隐含层的神经网络。</p>\n<pre><code class=\\"lang-\\">class Model(nn.Module):\\n def __init__(self, in_feats, out_feats=12, hidden_units=32):\\n super(Model, self).__init__()\\n\\n self.net = nn.Sequential(\\n nn.Linear(in_feats, hidden_units),\\n nn.ReLU(),\\n nn.Linear(hidden_units, out_feats)\\n )\\n\\n def forward(self, x):\\n return self.net(x)\\n</code></pre>\\n<p>训练模型，由于数据集的数据量太少，因此训练500轮来尽量提升模型性能。</p>\n<pre><code class=\\"lang-\\">NUM_EPOCHS = 500\\nLEARNING_RATE = 2e-4\\ndevice = 'cuda' if torch.cuda.is_available() else 'cpu'\\n\\n\\n\\ndataset = Raotbl6Dataset(X_train, y_train)\\ndataloader = DataLoader(dataset,batch_size=32, shuffle=True)\\ncriterion = torch.nn. MSELoss()\\n\\nmodel = Model(8).to(device)\\nopt = optim.Adam(model.parameters(), lr=LEARNING_RATE, betas=(0.5, 0.999))\\n\\nfor epoch in range(NUM_EPOCHS):\\n model.train()\\n for batch_idx, (X, y) in enumerate(dataloader):\\n\\n X, y = X.to(device), y.to(device)\\n pred = model(X)\\n loss = criterion(y, pred)\\n\\n model.zero_grad()\\n loss.backward()\\n opt.step()\\n print(\\n f&quot;Epoch [{epoch}/{NUM_EPOCHS}] \\\\\\n ERROR: {loss:.4f}&quot;\\n )\\n\\npred = pd.DataFrame(model(torch.Tensor(X_test.values).to(device)), columns=y_test.columns, index=y_test.index\\n(y_test - pred).abs().mean()\\n</code></pre>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/20e096fbaeda4c089ad9a2f63952db23_image.png\\" alt=\\"image.png\\" /></p>\n<p>可以看到，由于神经网络足够简单，即使只有100条数据并训练了500轮，也并没有过拟合，它的性能也超过前面3种方法较多，这其中也与前面3种方法没有花费时间调参有关。</p>\n<h4><a id=\\"_557\\"></a><strong>总结</strong></h4>\\n<p>本篇文章中，我们展示了4种基于机器学习进行多步时间序列预测的方法。下列表格中分别列出了各个算法的优缺点。</p>\n<p><img src=\\"https://dev-media.amazoncloud.cn/6824623c22ce48b28dd9cef48269a935_image.png\\" alt=\\"image.png\\" /></p>\n<p>多步时间序列预测问题在传统行业中尤为常见，很多亚马逊云科技的客户面临类似问题。在机器学习任务中，除了构建模型外，还需关注后续模型在实际使用中的表现，并定期更新及优化。Amazon SageMaker 提供了完整的模型训练、部署及监控工作流，可大幅度降低机器学习开发难度。此外，在一些常见的业务场景下，也可以利用 Amazon SageMaker Canvas 或 Amazon Forecast 等工具来基于 UI 进行建模，不需要关心算法本身的同时还能得到不错的效果。</p>\n<p>亚马逊云科技专业技术服务团队旨在为客户提供基于亚马逊云科技的专业咨询服务，种类包括业务创新、迁移、关键业务应用上云、云原生架构和微服务改造、大数据、机器学习、DevOps、容灾、安全等，以强大的亚马逊云科技云服务帮助企业客户完成云端迁移。其中，隶属于专业技术服务团队下的机器学习团队具有丰富的人工智能行业解决经验，可在为客户提供亚马逊云科技云上 AI 模型开发方面的咨询。</p>\n<ul>\\n<li>\\n<p>Amazon SageMaker Canvas：<br />\\n<a href=\\"https://aws.amazon.com/cn/sagemaker/canvas/\\" target=\\"_blank\\">https://aws.amazon.com/cn/sagemaker/canvas/</a></p>\\n</li>\n<li>\\n<p>Amazon Forecast ：<br />\\n<a href=\\"https://aws.amazon.com/cn/forecast/\\" target=\\"_blank\\">https://aws.amazon.com/cn/forecast/</a></p>\\n</li>\n<li>\\n<p>专业技术服务团队：<br />\\n<a href=\\"https://aws.amazon.com/cn/professional-services/\\" target=\\"_blank\\">https://aws.amazon.com/cn/professional-services/</a></p>\\n</li>\n</ul>\\n<h5><a id=\\"_582\\"></a><strong>本篇作者</strong></h5>\\n<p><strong>刘明</strong></p>\\n<p>亚马逊云科技专业服务团队数据科学家。在机器学习、深度学习、数据挖掘及模型部署开发拥有扎实经验。深度参与过能源、医疗、教育、媒体等行业的机器学习应用搭建及数据平台建设。</p>\n<p><strong>陈恒智</strong></p>\\n<p>亚马逊云科技专业服务团队数据科学家。</p>\n<p><strong>王畇</strong></p>\\n<p>亚马逊云科技专业服务团队助理数据科学家。在传统机器学习、计算机视觉、强化学习以及数据分析领域拥有多年经验，深度参与过生物识别、智慧供热等多个不同行业的人工智能项目，拥有丰富的实战经验。</p>\n"}