机器学习 基础教程

机器学习 集成学习

机器学习 笔记

original icon
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.knowledgedict.com/tutorial/ml-xgboost-objective-param-detail.html

xgboost objective 目标参数详解

机器学习 笔记 机器学习 笔记


xgboost 中,objective 是模型学习任务参数(learning task parameters)中的目标参数,它指定训练任务的目标。

objective 参数详解

objective 参数默认值为 reg:squarederror

  • reg:squarederror:以均方差(即 MSE)损失函数为最小化的回归问题任务。
  • reg:squaredlogerror:以均方根对数误差为最小化的回归问题任务。
  • reg:logistic:逻辑回归的二分类,评估默认使用均方根误差(rmse)。
  • reg:pseudohubererror:以 Pseudo-Huber 损失函数的回归问题。
  • reg:gamma:使用对数链接(log-link)进行伽马回归。输出是伽马分布的平均值。例如,对于建模保险索赔严重性或对可能是伽马分布的任何结果,它可能很有用。
  • reg:tweedie:使用对数链接(log-link)进行 Tweedie 回归。常用于建模保险的总损失,或用于可能是 Tweedie-distributed 的任何结果。
  • binary:logistic:逻辑回归的二分类,输出的也是分类的概率,和 reg:logistic 一样,不同的是默认采用错误率评估指标。
  • binary:logitraw:逻辑回归的二分类,但在进行逻辑回归转换之前直接输出分类得分。
  • binary:hinge:基于 Hinge 损失函数的二分类,预测输出不是 0 就是 1,而不是分类的概率值。
  • count:poisson:基于泊松回归的计数任务,输出泊松分布的平均值。
    • max_delta_step:可以设置该值,默认为 0.7。
  • survival:cox:基于 Cox 风险比例回归模型的生存分析任务,如癌症患者生存概率等。
  • survival:aft:基于加速失效模型(aft)的生存分析任务。
  • aft_loss_distribution:概率密度函数,基于 survival:aft 和 aft-nloglik 作为评价指标。
  • multi:softmax:使用 softmax 多分类器的多分类任务,返回预测的类别,同时也要设置分类的个数。
  • multi:softprob:和 softmax 一样,但是输出的一个形式为 ndata * nclass 的向量,可以进一步将矩阵 reshape 成 ndata * nclass 的指标,输出的是每个类别的概率值。
  • rank:pairwise:使用 LambdaMART 进行文档对方法排名(pairwise),并使成对损失最小化。
  • rank:ndcg:使用 LambdaMART 进行文档列表方法排名(listwise),并使标准化折让累积收益(NDCG)最大化。
  • rank:map:使用 LambdaMART 进行文档列表方法排名(listwise),并使平均准确率(MAP)最大化。
xgboost booster 参数表示选择哪种 boost 分类器,它总共有两大种选择(决策树与线性模型),三个具体选择。 ...
本节整理了 XGBoost 开发中的一些技巧及经验之谈。 ...
XGBoost 是一个 GBDT 即梯度提升算法的开源实现软件库,是 eXtreme Gradient Boosting 的简写,表示 XG ...
XGBoost 目前支持两种输入数据的文本格式:LIBSVM 和 CSV。 ...
Linux 的 file 命令用来查看指定文件的类型及相关信息。 ...