1 2023年06月 机器学习-决策树 黄海广 副教授 2 本章目录 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 3 1.决策树原理 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 4 长相 能 帅 不帅 家庭背景 好 能 不好 人品 好 上进心 能 不能 有 不能 不好 1.决策树原理 ⚫ 决策树：从训练数据中学习得出一个树状 结构的模型。 ⚫ 决策树属于判别模型。 ⚫ 决策树是一种树状结构，通过做出一系列 决策（选择）来对数据进行划分，这类似 于针对一系列问题进行选择。 ⚫ 决策树的决策过程就是从根节点开始，测 试待分类项中对应的特征属性，并按照其 值选择输出分支，直到叶子节点，将叶子 节点的存放的类别作为决策结果。 根节点 node) 5 1.决策树原理 根节点 (root node) 非叶子节点 (non-leaf node) (代表测试条件，对数据属性的测试) 分支 (branches) (代表测试结果) 叶节点 (leaf node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 行预测。 ⚫ 决策树算法属于监督学习方法。

能够提取所有网址并进行 筛选、去重，所撰写代码 运行后完成数据爬虫任务， 所获取数据准确，少量数 据有所遗漏。 提示词 测试结果受到数据样本、测试环境、AI抽卡、提示词模板等因素影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 爬虫数据采集  目前DeepSeek R1、Open AI o3mini、Kimi k1.5支持联网查询网址，Claude 3.5 sonnet暂不支持； 5 sonnet 可以提取所有网址，调整后可输出正 确代码，运行代码能生成本地文件， 但提取数据结果为空。 测试结果受到数据样本、测试环境、AI抽卡、提示词模板等因素影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 文件数据读取 1、读取文件； 2、根据指定内容整理成表格。 任务 Open AI o3mini 暂不支持附件上传，响应速度 快，能够快速读取粘贴数据， 当天的公路客运量、比2024年同期多或者少的百分比、环比的百分 比。4.当天的民航客运量、比2024年同期多或者少的百分比、环比的百分比。 提示词 测试结果受到数据样本、测试环境、AI抽卡、提示词模板等因素影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 文件数据读取 Claude 3.5 sonnet 很好地完成了数据读取及提取 任务，没有漏数据指标，数据 逻辑性很好 Kimi k1.5 能够快速读取文件数据，并

异构广告混排在美团到店业务的探索与实践 258 短视频内容理解与生成技术在美团的创新实践 271 美团搜索中查询改写技术的探索与实践 297 美团内部讲座 | 清华大学崔鹏：因果启发的学习、推断和决策 325 NeurIPS 2021 ｜ Twins：重新思考高效的视觉注意力模型设计 339 目录 iv > 2022年美团技术年货 美团获得小样本学习榜单 FewCLUE 第一！ Prompt 美团外卖是一个场景化业务：用户当前决策是受不同场景因素共同影响的结果，这些 场景因素包括但不限于 LBS 地理位置、商家营业情况、时间餐段。比如在繁华商圈 / 小城市（LBS）下的工作日 / 非工作日 / 正餐 / 下午茶（时间餐段），根据商家营业情 况圈选商家。相比于传统电商业务来说，增加了 LBS 和时段的限制，其场景化因素 更为丰富。同时，外卖具有很强的即时需求性质，用户的决策链路会很短，长时间 “逛”外卖 App 的情况较少，故单次用户决策具备短时性的特点，这也进一步对外卖 场景化增加了更多的建模因素。 因此，如何将用户的外卖需求进行场景化建模，从而提升用户在使用外卖时的下单体 验，成为外卖预估模型需要重点解决的问题。 1.1 问题与挑战 相较于传统电子商务，用户兴趣在外卖业务下呈现出更加明显的场景化特点，具备 【用户 - 场景 - 兴趣 - 决策】链路：即用户在特定场景下，结合自身需求与个人饮食

所有基模型的预测形成新的测试集，最后再对测试集进行预测。 测试 数据 7 Random Forest（随机森林） 用随机的方式建立一个森林。随机森林算法由很多决策树组成，每一棵决 策树之间没有关联。建立完森林后，当有新样本进入时，每棵决策树都会 分别进行判断，然后基于投票法给出分类结果。 优点 1. 在数据集上表现良好，相对于其他算法有较大的优势 2. 易于并行化，在大数据集上有很大的优势； 体，它在以决策树为基学习器构建 Bagging 集成的 基础上，进一步在决策树的训练过程中引入了随机特 征选择，因此可以概括 随机森林包括四个部分： 1. 随机选择样本（放回抽样）； 2. 随机选择特征； 3. 构建决策树； 4. 随机森林投票（平均）。 随机森林 训练数据 Bootstrap随机抽取 决策树1 最终预测结果 测试 数据 决策树n …… 决策树2 预测1 根据权重1更新样本权重2 根据权重n-1更新样本权重n 强学 习器 相同方式更新…… 15 GBDT算法 GBDT（Gradient Boosting Decision Tree）是一种迭代的决策树算 法，该算法由多棵决策树组成，GBDT 的核心在于累加所有树的结果 作为最终结果，所以 GBDT 中的树都是回归树，不是分类树，它是属 于 Boosting 策略。GBDT 是被公认的泛化能力较强的算法。

推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 慢速思考，算力成本高 运算原理 基于概率预测，通过大量数据训练来快速预测可能 的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 决策能力 依赖预设算法和规则进行决策 能够自主分析情况，实时做出决策 创造力 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 通用模型 需拆分问题，逐步追问 “先解释电车难题的定义，再对比 两种伦理观的差异” 一次性提问复杂逻辑 如何向AI表达需求 需求类型 特点 需求表达公式 推理模型适配策略 通用模型适配策略 1. 决策需求 需权衡选项、评估风险、 选择最优解 目标 + 选项 + 评估标准 要求逻辑推演和量化分析 直接建议，依赖模型经验归纳 2. 分析需求 需深度理解数据/信息、 发现模式或因果关系 问题

推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 慢速思考，算力成本高 运算原理 基于概率预测，通过大量数据训练来快速预测可能 的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 决策能力 依赖预设算法和规则进行决策 能够自主分析情况，实时做出决策 创造力 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 通用模型 需拆分问题，逐步追问 “先解释电车难题的定义，再对比 两种伦理观的差异” 一次性提问复杂逻辑 如何向AI表达需求 需求类型 特点 需求表达公式 推理模型适配策略 通用模型适配策略 1. 决策需求 需权衡选项、评估风险、 选择最优解 目标 + 选项 + 评估标准 要求逻辑推演和量化分析 直接建议，依赖模型经验归纳 2. 分析需求 需深度理解数据/信息、 发现模式或因果关系 问题

基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web 些贡献——在这个话题上，我们推荐采用设计系统决策记录。对我们来说，维护一个良好的设计系统或组件库 不光是技术工作，也同样是社交工作。 2. 轻量级的 RFCs 方法 采纳 Request for Comments（RFC）是一种正式文档，其包含与上下文相关的设计和架构思想，以促进团队协作和 决策。几乎所有数字原生和快速扩张的组织都使用 RFCs 来记录围绕设计、架构、技术和团队协作方式的决策。 成熟的组织已经

大数据技术的应用，对农业企业的“互联网 +”进程有重大意义。 网易数帆和温氏的携手合作，不仅是在技术上辅助温氏股份完成 信息化、数字化建设的商业闭环，同时也是希望为企业日常运营 管理提供数据监控、预警、决策支持，进一步提升现代农业企业 的科技含量和企业竞争力。 温氏集团 IT 负责人 温先生 温氏集团 网易数帆轻舟团队协助我们构建了大华统一产品服务中心，大幅 提升了不同产品线的信息交互效率。轻舟云原生平台使我们统一 覆盖企业数据全链路的大数 据产品，全面降低数据使用门 槛。 开放 专注大数据技术领域，核心 技术自主可控，支持多云和跨 云部署。 高效 联动数据链路多环节，从系统 层面加快业务高效运营和有 效决策。 灵活 组件式插件化产品架构，基于 用户的发展阶段，提供量身定 制的大数据产品和解决方案。 16 网易数帆旗下大数据技术与服务品牌 网易有数以“数据价值”为导向，聚焦于企业 “看数”、“ 表、智能决策深度融合。 开放与集成能力 以标准类接口开放所有资源，支持集 成，兼容性强。 内置增强分析 内置高级分析模型，如预测、聚类，离 散；支持智能问答、智能分析等多种分 析场景。 产品特色 产品能力 业务流程覆盖数据收集、加工、分析、应用等全链路环节，内置可视化报告、自助式 ETL 、自助取数、驾驶舱、数据 大屏、复杂报表、数据填报、智能决策等数据应用，支撑企业智能化决策。 通

树等，它们的查找、插入和删除等操作都可以视为 分治的应用。 ‧ 堆：堆是一种特殊的完全二叉树，其各种操作，如插入、删除和堆化，实际上都隐含了分治的思想。 ‧ 哈希表：虽然哈希表来并不直接应用分治，但某些哈希冲突解决策略间接应用了分治策略，例如，链式 地址中的长链表会被转化为红黑树，以提升查询效率。 可以看出，分治是一种“润物细无声”的算法思想，隐含在各种算法与数据结构之中。 12.2. 分治搜索策略 我们已经学过，搜索算法分为两大类： backtrack(choices, state, n, res); return res.get(0); } 14.1.1. 方法一：暴力搜索 回溯算法通常并不显式地对问题进行拆解，而是将问题看作一系列决策步骤，通过试探和剪枝，搜索所有可 能的解。 我们可以尝试从问题分解的角度分析这道题。设爬到第 ? 阶共有 ??[?] 种方案，那么 ??[?] 就是原问题，其 子问题包括: ??[? − 1] 互 独立的，原问题的解依赖于子问题的解，而子问题的解又依赖于更小的子问题的解。 ‧「回溯算法」在尝试和回退中穷举所有可能的解，并通过剪枝避免不必要的搜索分支。原问题的解由一 系列决策步骤构成，我们可以将每个决策步骤之前的子序列看作为一个子问题。 实际上，动态规划常用来求解最优化问题，它们不仅包含重叠子问题，还具有另外两大特性：最优子结构、无 后效性。 14.2.1. 最优子结构 我们

树等，它们的查找、插入和删除等操作都可以视为 分治的应用。 ‧ 堆：堆是一种特殊的完全二叉树，其各种操作，如插入、删除和堆化，实际上都隐含了分治的思想。 ‧ 哈希表：虽然哈希表来并不直接应用分治，但某些哈希冲突解决策略间接应用了分治策略，例如，链式 地址中的长链表会被转化为红黑树，以提升查询效率。 可以看出，分治是一种“润物细无声”的算法思想，隐含在各种算法与数据结构之中。 12.2. 分治搜索策略 我们已经学过，搜索算法分为两大类： 记录方案数量 backtrack(choices, state, n, res) return res[0] 14.1.1. 方法一：暴力搜索 回溯算法通常并不显式地对问题进行拆解，而是将问题看作一系列决策步骤，通过试探和剪枝，搜索所有可 能的解。 我们可以尝试从问题分解的角度分析这道题。设爬到第 ? 阶共有 ??[?] 种方案，那么 ??[?] 就是原问题，其 子问题包括: ??[? − 1] 互 独立的，原问题的解依赖于子问题的解，而子问题的解又依赖于更小的子问题的解。 ‧「回溯算法」在尝试和回退中穷举所有可能的解，并通过剪枝避免不必要的搜索分支。原问题的解由一 系列决策步骤构成，我们可以将每个决策步骤之前的子序列看作为一个子问题。 实际上，动态规划常用来求解最优化问题，它们不仅包含重叠子问题，还具有另外两大特性：最优子结构、无 后效性。 14.2.1. 最优子结构 我们