ZDK's blog

https://arxiv.org/abs/1709.09018 摘要自动编码是一个重要的任务，通常由深度神经网络比如CNN来实现。在这篇论文中，我们提出了EncoderForest （eForest）这是第一个基于树集成的自编码器。我们提出了一种方法，让森林能够利用树的决策路径所定义的等效类来进行后向重建，并在监督和无监督环境中展示了其使用情况。实验结果表明，与DNN自编码器相比，eFor... 阅读全文…

https://zhuanlan.zhihu.com/p/41521695 正因为数据表示的重要性，机器学习一般有两种思路来提升原始数据的表达 特征学习(feature learning)，又叫表示学习(representation learning)或者表征学习，一般指的是自动学习有用的数据特征。 特征工程(feature engineering)，主要指对于数据的人为处理提取，有时候也... 阅读全文…

https://www.ijcai.org/proceedings/2017/0497.pdf 摘要提出了gcForest,一种能够与深层神经网络的表现高度抗衡的决策树集成方法。相比于深层神经网络需要化大力气调整超参数，gcForest更容易去训练。实际上，就算gcForest被应用于不同领域使用不同的数据，也可以通过设置几乎相同的超参数获得极好的表现。gcForest的训练时高效的可扩展的... 阅读全文…

已修改 精确率、召回率、真正类率（TPR）、假正类率（FPR）ROC曲线针对二分类问题。 精确率 = TP / (TP + FP)，表示返回的正例中真正例所占的比例；召回率 = TP ... 阅读全文…

GBDTgbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。 GBDT如何选择特征gbdt选择特征的细节其实是想问你CART Tree生成的过程。这里有一个前提，gbdt的弱分类器默认选择的是CART TREE。其实也可以选择其他弱分类器的，选择的前提是低方差和高偏差。框架服从boosting 框架即可。 GBDT如何构建特征... 阅读全文…

统计学习方法 提升方法AdaBoost在概率近似正确(probably approximately correct, PAC)学习的框架中，一个概念(一个类)，如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的;一个概念，如果存在一个多项式的学习算法能够学习它,学习的正确率仅比随机猜测略好，那么就称这个概念是弱可学习的. 如果已经发现了“弱学习算法”，将它提... 阅读全文…

https://dl.acm.org/citation.cfm?id=2648589 摘要在线广告允许广告商只投标和支付可测量的用户响应，比如广告的点击。所以，点击预测系统时大多数广告系统的中心。有超过7.5亿的日活用户和超过一百万的活跃广告商，预测Facebook广告点击是一项有挑战的机器学习任务。这篇论文介绍一个决策树加逻辑回归的组合模型，使用组合模型的效果比单独使用模型的效果提升3%，... 阅读全文…