GBDT（Gradient Boosting Decision Tree）是一种迭代的决策树算 法，该算法由多棵决策树组成，GBDT 的核心在于累加所有树的结果 作为最终结果，所以 GBDT 中的树都是回归树，不是分类树，它是属 于 Boosting 策略。GBDT 是被公认的泛化能力较强的算法。 GBDT 由三个概念组成： Regression Decision Tree（即 DT）、Gradient Boosting（即 03 XGBoost 04 LightGBM 3.XGBoost 27 3.XGBoost XGBoost 是大规模并行 boosting tree 的工具， 它是目前最快最好的开源 boosting tree 工具包 ，比常见的工具包快 10 倍以上。XGBoost 和 GBDT 两者都是 boosting 方法，除了工程实现 、解决问题上的一些差异外，最大的不同就是目 se XGBoost通过Level-wise tree growth策略来生长树。 同一层所有节点都做分裂， 最后剪枝 LightGBM 通过 leaf-wise (best-first)策略来生长树。 它将选取具有最大 delta loss 的叶节点来生长。 Level-wise tree growth Leaf-wise tree growth …… …… 基于最大深度的 Leaf-wise

000年提出的关联分析算法，它采 取如下分治策略：将提供频繁项集的数据库压缩到一棵频繁模式树（FP-Tree）， 但仍保留项集关联信息。 该算法是对Apriori方法的改进。生成一个频繁模式而不需要生成候选模式。 FP-growth算法以树的形式表示数据库，称为频繁模式树或FP-tree。 此树结构将保持项集之间的关联。数据库使用一个频繁项进行分段。这个片段被称 为“模式片段”。分析了 该算法和Apriori算法最大的不同有两点： 第一，不产生候选集 第二，只需要两次遍历数据库，大大提高了效率。 29 3.FP-Growth算法 FP-Tree （ Frequent Pattern Tree ） FP树(FP-Tree)是由数据库的初始项集组成的树状结构。 FP树的目的是挖掘最 频繁的模式。FP树的每个节点表示项集的一个项。 根节点表示null，而较低的节点表示项集。在形成树的同时，保持节点与较 首先构造FP树，然后利用它来挖掘频繁项集。 在构造FP树时，需要对数据集扫描两遍， 第一遍扫描用来统计频率，第二遍扫描至考虑频繁项集。 31 3.FP-Growth算法 FP-Tree （ Frequent Pattern Tree ） FP树(FP-Tree)是由数据库的初始项集组成的树状结构。 FP树的目的是挖掘最 频繁的模式。FP树的每个节点表示项集的一个项。 根节点表示null，而较低的节点表示项集。在形成树的同时，保持节点与较

k个邻居里频次最高的类别，即为测试对象 的类别 K=3 K=5 14 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 3.K-D-Tree划分 15 KD树划分 KD树(K-Dimension Tree)，，也可称之为K维树 ，可以用更高的效率来对空间进行划分，并且其 结构非常适合寻找最近邻居和碰撞检测。 假设有 6 个二维数据点，构建KD树的过程： ? 3 ?8 ?7 ?10 ?9 ?2 ?5 ?12 ?11 ?6 21 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 4.K-D-Tree搜索 22 KD树搜索 1.首先要找到该目标点的叶子节点，然后以目标点为 圆心，目标点到叶子节点的距离为半径，建立一个超 球体，我们要找寻的最近邻点一定是在该球体内部。 搜索（4,4）的最近邻时。首先从根节点（6

Partitions are independent of each other Hierarchical clustering: Partitions can be visualized using a tree struc- ture (a dendrogram) Feng Li (SDU) K-Means December 28, 2021 6 / 46 K-Means Clustering Problem algorithm until we have a de- sired number of clusters MST-based method: Build a minimum spanning tree from the dissim- ilarity graph, and then make new clusters by breaking the link corre- sponding to Clustering (Contd.) We can recursively call the algorithm on G and/or H, or any other node in the tree. E.g., choose to split the node whose average dissimilarity is highest, or whose maximum dissimilarity

symbols are assigned longer codes. This is achieved with a simple Huffman Tree (figure 2-1 bottom). Each leaf node in the tree is a symbol, and the path to that symbol is the bit-string assigned to it symbol-code mapping is transmitted along with the encoded data. Figure 2-1: Huffman Encoding & Huffman Tree. Source When decoding the encoded data, we look up the code from the lookup table to retrieve the

linear_model.Ridge ElasticNet linear_model.ElasticNet 回归树 tree.DecisionTreeRegressor 15 2.Scikit-learn主要用法 监督学习算法-分类 from sklearn.tree import DecisionTreeClassifier clf = DecisionTreeClassifier(max_depth=5)

建 立 决 策 树 主 要 有 一 下 三 种 算 法 ： ID3(Iterative Dichotomiser)、C4.5、CART(Classification And Regression Tree)。 8 2.ID3算法 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 9 2. ID3算法 ⚫ ID3 算法最早是由罗斯昆（J. Ross 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 28 4.CART算法 CART ⚫ Classification and Regression Tree (CART) 是决策树的一种。 ⚫ 用基尼指数来选择属性（分类），或用均方差来选择属性（回归）。 ⚫ 顾名思义，CART算法既可以用于创建分类树，也可以用于创建回归 树，两者在构建的过程中稍有差异。

模型 新数据 推断结果 前置知识：监督学习典型算法 • 线性回归（Linear Regression） • 逻辑回归（Logistic Regression） • 决策树（Decision Tree） • 随机森林（Random Forest） • 最近邻算法（k-NN） • 朴素贝叶斯（Naive Bayes） • 支持向量机（SVM） • 感知器（Perceptron） • 深度神经网络（DNN）

• 对用户生成的内 容进行智能检索 • 摄影、旅游、房 地产、度假以及 租赁等应用场景 Maple Plant Villa Garden Water Swimming Pool Tree Potted Plant Backyard 面部分析 在图像中定位人脸并分析面部的情绪，检测情感、姿势、地 标等特性 • 剪裁图片和重叠广告时需 要避开的面孔 • 获得人口学以及情感的数

MA, 841-848, 2002. [6] Kohavi R.,Scaling up the accuracy of naïve Bayes classifiers: A decision-tree hybrid[C]// Proceedings of the 2nd International Conference on Knowledge Discovery and Data Mining