[机器学习]XGBoost---增量学习多阶段任务学习

news/2024/4/18 10:12:02/文章来源:https://blog.csdn.net/zwqjoy/article/details/129185410

一说明

当我们的训练数据非常多，并且还在不断增加时，每次都用全量训练，数据过多，时间过长，此时就可以使用增量训练：用新增的数据微调校正模型。

二全量与增量的差异

在使用增量训练时，最关心的问题是：全量和增量的差别，从而确定增量训练的使用场景。

假设有200条数据

第一次训练150条，第二次训练50条，

直接用200条训练

差异在于：在第二次训练50条时，前150条数据已经不存在了，模型更拟合于后面的数据。如果我们定期增量训练，那么离当前时间越近的数据对模型影响越大，这也是我们想要的结果。但如果最后一批数据质量非常差，就可能覆盖之前的正确实例的训练结果，把模型带偏。

同理，如果我们按时间把数据分成几部分，然后按从早到晚的顺序多次训练模型，每个模型在上一个模型基础上训练，也间接地参加了后期实例的权重。

XGBoost提供两种增量训练的方式，

一种是在当前迭代树的基础上增加新树，原树不变；

一种是当前迭代树结构不变，重新计算叶节点权重，同时也可增加新树。

对于已存在的决策树，早期训练的实例决定了模型的结构（选择哪些特征及分裂点），后期的实例决定最终的结果（叶节点的权重和新加入的树）。

综上，两个重点：第一，模型训练了一半，突然换了一批完全不同的数据继续训练，早期数据不再能再校正模型；第二，树一旦形成，结构就不再变化，后续的训练只能增加新树和重新计算前树的节点权重。

尽量用全量数据训练，如果数据太多，必须增量时，尽量保证增量数据的质量和数量（均匀分布），以免带偏模型。

三. 例子

import xgboost as xgb
from sklearn.datasets import load_digits  # 训练数据
from sklearn.model_selection import train_test_splitX, y = load_digits(n_class=2, return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, train_size=0.8, shuffle=True, stratify=y,random_state=100)dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)print("-+-" * 25)
params1 = {'tree_method': 'hist'}
model1 = xgb.train(params1, dtrain, num_boost_round=3)  # 训练2棵树的模型
print(len(model1.get_dump()))
for leaf in model1.get_dump():print(leaf)print("-+-" * 25)
params2 = {'tree_method': 'hist'}
model2 = xgb.train(params2, dtest, num_boost_round=5, xgb_model=model1)  # 在原模型基础上继续训练
print(len(model2.get_dump()))
for leaf in model2.get_dump():print(leaf)print("-+-" * 25)
##当前迭代树的结构不变，重新计算叶节点权重，
params3 = {'tree_method': 'hist'}
params3["updater"] = "refresh"
params3["process_type"] = "update"
params3["refresh_leaf"] = True
# 则3棵树结构不变，叶节点权重改变，最终结果一共3棵树
# 特别注意这里的num_boost_round <=原始模型的boost_nums 否则汇报错
model3 = xgb.train(params3, dtest, num_boost_round=3, xgb_model=model1)  # 在原模型基础上继续训练
print(len(model3.get_dump()))
for leaf in model3.get_dump():print(leaf)

import xgboost as xgb
from sklearn.datasets import load_digits  # 训练数据
from sklearn.model_selection import train_test_splitX, y = load_digits(n_class=2, return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, train_size=0.8, shuffle=True, stratify=y,random_state=100)# dtrain = xgb.DMatrix(X_train, label=y_train)
# dtest = xgb.DMatrix(X_test, label=y_test)print("-+-" * 25)
params1 = {'tree_method': 'hist', "n_estimators": 3}
model1 = xgb.XGBClassifier(**params1)
model1.fit(X_train, y_train)
print(len(model1.get_booster().get_dump()))
for leaf in model1.get_booster().get_dump():print(leaf)print("-+-" * 25)
params2 = {'tree_method': 'hist', "n_estimators": 3}
model2 = xgb.XGBClassifier(**params2)
model2.fit(X_test, y_test, xgb_model=model1.get_booster())
print(len(model2.get_booster().get_dump()))
for leaf in model2.get_booster().get_dump():print(leaf)print("-+-" * 25)
params3 = {'tree_method': 'hist', "n_estimators": 3}
params3["updater"] = "refresh"
params3["process_type"] = "update"
params3["refresh_leaf"] = True
# 则3棵树结构不变，叶节点权重改变，最终结果一共3棵树
# 特别注意这里的num_boost_round <=原始模型的boost_nums 否则汇报错
model3 = xgb.XGBClassifier(**params3)
model3.fit(X_test, y_test, xgb_model=model1.get_booster())
print(len(model3.get_booster().get_dump()))
for leaf in model3.get_booster().get_dump():print(leaf)