1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。 根节点：天气情况 ├── 晴天 │ ├── 年龄 ≤ 12岁 → 跳绳 │ ├── 13岁 ≤ 年龄 ≤ 40岁 → 羽毛球 │ └── 年龄 > 40岁 → 快走 ├── 阴天 │ ├── 年龄 ≤ 12岁 → 踢毽子 │ ├── 13岁 ≤ 年龄 ≤ 40岁 → 登山 │ └── 年龄 > 40岁 → 瑜伽 └── 雨天/恶劣天气 ├── 年龄 ≤ 12岁 → 室内体操 ├── 13岁 ≤ 年龄 ≤ 40岁 → 游泳 └── 年龄 > 40岁 → 健身房锻炼

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。 讨论： ①决策树的哪些特性使其容易受到噪声数据的影响？ 对数据敏感性高

决策树的构建过程依赖于数据的划分，每一步选择分裂特征和分裂点时都基于当前数据的统计信息（如信息增益、基尼指数等）。如果数据中存在噪声（例如错误标注的标签或异常值），这些噪声会直接影响分裂的选择，导致模型在错误的方向上进行划分。 噪声可能使决策树倾向于过拟合，学习到一些并不具有普遍性的模式。 2. 贪婪算法的本质 决策树采用的是贪婪算法，在每一步选择局部最优的划分。这种策略可能会放大噪声的影响，因为局部最优的选择可能并不是全局最优。 例如，当某些噪声样本在某个特征上表现出较强的区分性时，算法可能会错误地选择该特征进行分裂，从而导致不合理的树结构。 3. 对小数据集的敏感性 决策树对数据分布的变化非常敏感，特别是在数据量较小的情况下。噪声数据在这种情况下更容易对划分结果产生显著影响，进而改变整个树的结构。 这种问题在深度较大的决策树中尤为明显，因为叶子节点可能仅包含少量样本，甚至是一个噪声样本。 ②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。天气情况（根节点）

├── 晴天 │ ├── 体重指数 > 24 │ │ └── 推荐：游泳（叶子节点） │ └── 体重指数 ≤ 24 │ └── 运动时长 < 1小时 │ └── 推荐：羽毛球（叶子节点） │ └── 运动时长 ≥ 1小时 │ └── 推荐：骑自行车（叶子节点） └── 阴天/雨天 ├── 设施投入低 │ └── 推荐：跳绳（叶子节点） └── 设施投入高 └── 推荐：健身房训练（叶子节点）

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。

①决策树的哪些特性使其容易受到噪声数据的影响？

对数据敏感；过拟合倾向；局部最优划分

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

特征随机选择 多数投票机制

天气情况 ├── 晴天 │ ├── 年龄 < 18 → 跳绳 │ └── 年龄 ≥ 18 → 羽毛球 ├── 雨天 │ ├── 有健身房设备 → 健身器械训练 │ └── 没有健身房设备 → 瑜伽 └── 高温/寒冷天气 ├── BMI偏高 → 游泳 └── BMI正常 → 室内跑步机

1. 对训练数据的高度敏感性
   决策树在构建过程中会尽量拟合训练数据，尤其当树的深度较大时，它可能会过度关注某些特定的数据点。如果这些数据中存在噪声（例如错误标记的样本或异常值），决策树可能会错误地将这些噪声视为重要特征，并生成不合理的分裂节点。

贪心算法导致的局部最优问题
决策树的分裂过程是基于局部最优的贪心算法（如信息增益、基尼指数等）。这种算法只关注当前节点的最佳分裂方式，而无法全局优化整个树的结构。因此，噪声数据可能导致错误的分裂选择，进而影响整体模型性能。

过拟合倾向
决策树容易过拟合，特别是在处理小规模或高维数据时。如果噪声数据被模型视为真实模式，决策树可能会生成过于复杂的结构，进一步降低泛化能力。
2.特征随机选择

• 在构建每棵决策树时，随机森林会从所有特征中随机选择一个子集进行分裂。这种方法降低了某些噪声特征对单棵树的影响，因为每棵树仅依赖部分特征进行训练。
• 由于不同树使用不同的特征组合，噪声特征很难在整个森林中占据主导地位，从而减少了噪声对整体模型的干扰。

样本随机采样（Bagging）

• 随机森林采用自助采样法（Bootstrap Sampling），每次从训练集中随机抽取样本构建一棵树。这使得每棵树的训练数据略有不同，噪声数据的影响会被分散到不同的树中，而不是集中在单一树上。

多数投票机制

• 随机森林通过多棵树的集体决策（分类任务中采用多数投票，回归任务中采用平均值）来得出最终预测结果。单棵树可能因噪声数据产生错误预测，但其他树的结果可以抵消这些错误，从而使整体预测更加稳健。
• 这种集成方法显著降低了噪声数据对模型输出的影响，因为噪声通常只会在少数树中体现，很难左右整体的投票结果。

1.实践：绘制决策树

根节点：假期运动选择
一级分支 1：年龄
  年龄 <= 18 岁
    二级分支 1：天气情况
      天气晴朗
        运动选择：打篮球、骑自行车、户外跑步
      天气阴雨
        运动选择：室内跳绳、做俯卧撑、练瑜伽
年龄 > 18 岁且年龄 <= 60 岁
    二级分支 2：天气情况
      天气晴朗
        三级分支 1：运动时长
          运动时长 <= 1 小时
            运动选择：打网球、平板支撑、快走
          运动时长 > 1 小时
            运动选择：登山、长距离骑行、游泳（室外）
      天气阴雨
        三级分支 2：运动时长
          运动时长 <= 1 小时
            运动选择：打羽毛球、跳健身操、使用哑铃锻炼
          运动时长 > 1 小时
            运动选择：在健身房进行器械训练、参加动感单车课程
年龄 > 60 岁
  二级分支 3：天气情况
    天气晴朗
      运动选择：散步、练太极拳、做八段锦
    天气阴雨
      运动选择：室内慢走、做坐式健身操、进行简单的拉伸运动

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合

对噪声数据敏感：在医疗数据中，噪声是比较常见的。例如患者可能误填症状，或者医疗设备记录数据时出现错误。决策树在构建过程中会努力去拟合这些噪声数据，从而导致模型过于复杂，出现过拟合现象。这使得模型在训练集上表现良好，但在实际测试或新的医疗诊断案例中，准确率会大幅下降。

忽略特征间的相关性：决策树在进行特征选择时，通常是基于单个特征的信息增益或其他指标来决定分裂节点，它没有充分考虑特征之间的相互关系。然而，在医疗诊断中，很多症状和检查指标之间可能存在着复杂的相关性。例如，某种疾病可能会同时导致多个相关症状的出现，而决策树可能会将这些相关特征视为独立的信息，无法有效利用这种相关性来提高诊断的准确性。

易受数据不平衡影响：医疗数据中常常存在类别不平衡的问题，例如某种罕见病的病例数量可能远远少于常见疾病。决策树在这种情况下可能会偏向于多数类，即对常见疾病的诊断准确率较高，但对罕见病的诊断效果不佳。这是因为决策树的构建目标是尽可能地减少整体的分类误差，而忽略了少数类的错误分类代价。

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。

根节点：天气情况 ├── 晴天 │ ├── 年龄 ≤ 12岁 → 跳绳 │ ├── 13岁 ≤ 年龄 ≤ 40岁 → 羽毛球 │ └── 年龄 > 40岁 → 快走 ├── 阴天 │ ├── 年龄 ≤ 12岁 → 踢毽子 │ ├── 13岁 ≤ 年龄 ≤ 40岁 → 登山 │ └── 年龄 > 40岁 → 瑜伽 └── 雨天/恶劣天气 ├── 年龄 ≤ 12岁 → 室内体操 ├── 13岁 ≤ 年龄 ≤ 40岁 → 游泳 └── 年龄 > 40岁 → 健身房锻炼

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。

讨论： ①决策树的哪些特性使其容易受到噪声数据的影响？ 对数据敏感性高

• 决策树的构建过程依赖于数据的划分，每一步选择分裂特征和分裂点时都基于当前数据的统计信息（如信息增益、基尼指数等）。如果数据中存在噪声（例如错误标注的标签或异常值），这些噪声会直接影响分裂的选择，导致模型在错误的方向上进行划分。
• 噪声可能使决策树倾向于过拟合，学习到一些并不具有普遍性的模式。

2. 贪婪算法的本质

• 决策树采用的是贪婪算法，在每一步选择局部最优的划分。这种策略可能会放大噪声的影响，因为局部最优的选择可能并不是全局最优。
• 例如，当某些噪声样本在某个特征上表现出较强的区分性时，算法可能会错误地选择该特征进行分裂，从而导致不合理的树结构。

3. 对小数据集的敏感性

• 决策树对数据分布的变化非常敏感，特别是在数据量较小的情况下。噪声数据在这种情况下更容易对划分结果产生显著影响，进而改变整个树的结构。
• 这种问题在深度较大的决策树中尤为明显，因为叶子节点可能仅包含少量样本，甚至是一个噪声样本。

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。要求： ①根节点需选择对运动类型影响最大的条件（如天气情况），并说明选择理由。②至少包含3层节点（根节点、内部节点、叶子节点）。③叶子节点需明确最终推荐的运动项目（如“跳绳”“游泳”“羽毛球”等）。

决策树图示

天气情况
├── 晴天
│   ├── BMI < 24
│   │   ├── 运动时长 < 30分钟 -> 推荐：跳绳
│   │   └── 运动时长 ≥ 30分钟 -> 推荐：慢跑
│   └── BMI ≥ 24
│       ├── 运动时长 < 30分钟 -> 推荐：瑜伽
│       └── 运动时长 ≥ 30分钟 -> 推荐：游泳
└── 雨天
    ├── BMI < 24
    │   ├── 运动时长 < 30分钟 -> 推荐：健身操
    │   └── 运动时长 ≥ 30分钟 -> 推荐：室内自行车
    └── BMI ≥ 24
        ├── 运动时长 < 30分钟 -> 推荐：普拉提
        └── 运动时长 ≥ 30分钟 -> 推荐：羽毛球

解释：

1. 根节点：天气情况

• 晴天：适合户外活动。
• 雨天：需选择室内活动。

2. 第一层内部节点：体重指数（BMI）

• BMI < 24：正常或偏瘦，可选择更多种运动。
• BMI ≥ 24：偏胖，需选择对关节压力较小的运动。

3. 第二层内部节点：运动时长

• 运动时长 < 30分钟：适合快速、高强度的运动。
• 运动时长 ≥ 30分钟：适合持久、中低强度的运动。

4. 叶子节点：推荐的运动项目

• 跳绳、慢跑、瑜伽、游泳等，基于前面的条件进行匹配。

这样设计的决策树可以帮助你在不同的条件下选择最合适的运动项目，确保既安全又有效。

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。讨论： ①决策树的哪些特性使其容易受到噪声数据的影响？②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？>

讨论①：

1.递归分割的贪婪性：

决策树的构建是通过贪婪算法完成的，即在每个节点选择最优分割点以最大化信息增益或最小化基尼不纯度。这种方法可能会过度依赖训练数据中的局部模式（包括噪声），导致过拟合。

2.对单一路径的高度敏感性：

决策树最终的预测结果取决于从根节点到叶子节点的唯一路径。如果训练数据中存在噪声（例如患者误填症状），这些噪声可能会影响某些关键分裂点的选择，从而改变整棵树的结构和预测结果。

3.缺乏正则化机制：

决策树本身没有内置的正则化机制来限制模型复杂度。如果没有提前停止条件（如最大深度）或剪枝策略，决策树可能会生成非常复杂的结构，进一步放大噪声的影响。

4.对小样本的高方差：

决策树对训练数据分布非常敏感，尤其是当某些类别的样本数量较少时，噪声数据可能显著扭曲模型的学习过程。

讨论②：

随机森林是一种基于决策树的集成学习方法，它通过引入随机性和多样性来克服单棵决策树的局限性，从而减少对噪声数据的敏感性。

1.特征随机选择：

在构建每棵决策树时，随机森林不会使用所有特征，而是从总特征集中随机选择一个子集作为候选特征用于分裂节点。

2.样本随机抽样（Bagging）

每棵决策树的训练数据是从原始数据集中通过自助采样法（Bootstrap Sampling）生成的。这意味着每棵树只看到部分数据，而其他数据未被选中（称为“袋外数据”）。

3.多数投票机制：

在随机森林中，最终预测结果是通过对所有树的预测结果进行投票（分类任务）或平均（回归任务）得到的。

总结：

• 1.决策树的局限性：由于其贪婪性、对单一路径的敏感性以及缺乏正则化机制，决策树容易受到噪声数据的影响，尤其是在医疗诊断等高风险领域。
• 2.随机森林的改进：通过特征随机选择、样本随机抽样和多数投票机制，随机森林有效缓解了噪声数据带来的问题，提升了模型的鲁棒性和泛化能力。这种集成学习方法在实际应用中表现出了更高的可靠性和准确性，特别适合处理像医疗诊断这样复杂且噪声较多的任务。

根节点：天气情况
选择理由： 天气情况对运动选择的影响最大，因为户外运动（如跑步、羽毛球）在恶劣天气下无法进行，而室内运动（如跳绳、游泳）则不受影响。因此，将天气情况作为根节点可以快速缩小选择范围。

第1层：天气情况

• 晴天 → 内部节点：年龄
• 雨天 → 内部节点：设施投入

第2层：晴天分支

• 年龄 ≤ 18岁 → 叶子节点：篮球
• 年龄 > 18岁 → 内部节点：体重指数
  • 体重指数 ≤ 24 → 叶子节点：羽毛球
  • 体重指数 > 24 → 叶子节点：游泳

第2层：雨天分支

• 设施投入低 → 叶子节点：跳绳
• 设施投入高 → 内部节点：运动时长
  • 运动时长 ≤ 30分钟 → 叶子节点：瑜伽
  • 运动时长 > 30分钟 → 叶子节点：健身房锻炼

决策树总结：

• 根节点：天气情况
• 第2层：年龄（晴天分支） / 设施投入（雨天分支）
• 第3层：体重指数（晴天分支） / 运动时长（雨天分支）
• 叶子节点：篮球、羽毛球、游泳、跳绳、瑜伽、健身房锻炼

2. 随机森林的改进与决策树的局限性

① 决策树的哪些特性使其容易受到噪声数据的影响？

1. 贪心算法导致局部最优：
   决策树采用贪心算法，在每一步选择最佳的分裂条件，但这种策略可能导致模型过于依赖训练数据中的噪声或异常值，从而产生过拟合。

2. 缺乏全局视角：
   决策树的分裂过程是局部的，未能考虑整个数据集的分布，因此容易对噪声数据敏感。

3. 单一路径的强假设：
   决策树假设每个样本只沿着一条路径到达叶子节点，这使得模型对训练数据中的错误分类非常敏感。

4. 不稳定性和高方差：
   数据的微小变化可能导致完全不同的树结构，尤其是在训练数据中存在噪声时。

② 随机森林如何缓解这一问题？

随机森林通过以下两种机制有效缓解了决策树的局限性：

1. 特征随机选择：
   在构建每棵决策树时，随机森林会从所有特征中随机选择一个子集进行分裂。这样，即使某些特征包含噪声，也不会对整体模型产生过大影响，因为其他树可能使用了更可靠的特征。

2. 多数投票机制：
   随机森林由多棵决策树组成，最终预测结果是通过多数投票（分类问题）或平均值（回归问题）得到的。这种集成学习方法能够平滑单个树的误差和过拟合现象，减少噪声对整体模型的影响。

总结：
决策树因其贪心算法、局部最优性和高方差等特点，容易受到噪声数据的影响。随机森林通过特征随机选择和多数投票机制，降低了单棵树对噪声的敏感性，提高了模型的鲁棒性和泛化能力。

1.#### 根节点 天气情况

• 选择理由：天气情况对假期运动的选择有着直接且较大范围的影响。不同的天气状况会限制或拓展人们能够进行的运动类型。例如，在晴天可以选择很多户外运动项目，而在雨天，大部分户外运动就无法开展，只能转向室内运动，所以天气情况是对运动类型影响最大的条件之一。 2.#### 决策树易受噪声数据影响的特性
• 贪心算法：决策树的生成通常采用贪心算法，即在每个节点选择最优的特征进行分裂，以局部最优来构建整个树。
• 过拟合倾向：决策树倾向于完全拟合训练数据，它
• 缺乏鲁棒性：决策树是一种确定性的模型，一旦某个节点的分裂决策确定，后续的分支就完全依赖于这个决策。

3. 随机森林缓解问题的机制

• 特征随机选择：随机森林在构建每棵决策树时，不是考虑所有的特征，而是随机选择一部分特征来确定节点的分裂。从而降低了噪声对整体模型的影响，增加了模型的多样性和稳定性。
• 多数投票机制：随机森林通过集成多棵决策树的预测结果，并采用多数投票等方式来决定最终的分类结果。通过综合多棵树的结果，随机森林能够减少决策树因噪声导致的过拟合问题，提高模型的泛化能力。

4.```language 第一层内部节点： 晴天： 第二层内部节点：年龄： 年龄 <= 18 岁： 第三层内部节点：体重指数（BMI）： BMI < 18.5（偏瘦）： 叶子节点：骑自行车（公园或郊外骑行） BMI >= 18.5 且 BMI < 24（正常）： 叶子节点：打羽毛球（小区空地或公园） BMI >= 24（超重或肥胖）： 叶子节点：慢跑（校园或河边跑道） 年龄 > 18 岁且年龄 <= 50 岁： 第三层内部节点：体重指数（BMI）： BMI < 18.5（偏瘦）： 叶子节点：山地骑行（郊外山地路线） BMI >= 18.5 且 BMI < 24（正常）： 叶子节点：长距离慢跑（城市马拉松路线） BMI >= 24（超重或肥胖）： 叶子节点：户外健步走（河边步道） 年龄 > 50 岁： 第三层内部节点：体重指数（BMI）： BMI < 18.5（偏瘦）： 叶子节点：散步（小区花园或附近公园） BMI >= 18.5 且 BMI < 24（正常）： 叶子节点：慢走（城市休闲步道） BMI >= 24（超重或肥胖）： 叶子节点：轻松的园艺活动（自家花园） 非晴天（如雨天、阴天等）： 第二层内部节点：运动时长： 运动时长 <= 1 小时： 第三层内部节点：设施投入： 设施投入：低： 叶子节点：室内健身操（家中跟着视频练习） 设施投入：高： 叶子节点：健身房力量训练（健身房） 运动时长 > 1 小时： 第三层内部节点：设施投入： 设施投入：低： 叶子节点：瑜伽（家中或瑜伽工作室） 设施投入：高： 叶子节点：室内篮球（室内篮球馆）

决策树为何怕噪声？

‌过拟合‌：死磕噪声，生成复杂分支 ‌单特征判断‌：一个噪声特征就能带偏分裂点 ‌错误不回头‌：一步错步步错，无法修正 ‌结构敏感‌：数据微调就颠覆整棵树

随机森林怎么解决？

‌特征随机‌：每棵树拆分时随机选部分特征，避免被某个噪声特征绑架 ‌集体投票‌： 多棵树共同决策，少数被噪声干扰的树不影响结果 随机采样时，部分树可能直接避开噪声样本

一·决策树结构

根节点：天气情况 分支 1：天气恶劣（如暴雨、大风、极端高温或低温等） 内部节点：体重指数（BMI） 分支 1：BMI <= 25（正常或偏瘦） 内部节点：运动时长 分支 1：运动时长 <= 1 小时 叶子节点：瑜伽（室内，运动时长较短也可有效锻炼） 分支 2：运动时长 > 1 小时 叶子节点：健身操（室内，可进行较长时间的有氧运动）

分支 2：BMI > 25（超重或肥胖） 内部节点：设施投入 分支 1：设施投入低 叶子节点：俯卧撑、仰卧起坐（室内，基本无需设施投入） 分支 2：设施投入高 叶子节点：室内动感单车（需要一定的设备投入）

分支 2：天气良好（如晴天、多云、温度适宜等） 内部节点：年龄 分支 1：年龄 <= 18（青少年） 内部节点：运动时长 分支 1：运动时长 <= 2 小时 叶子节点：足球（户外，适合青少年且运动时长灵活） 分支 2：运动时长 > 2 小时 叶子节点：长跑（户外，可长时间锻炼耐力） 分支 2：年龄 > 18（成年人及以上） 内部节点：设施投入 分支 1：设施投入低 叶子节点：散步（户外，基本无需设施投入） 分支 2：设施投入高 叶子节点：网球（户外，需要球拍等设施投入）

二·

①1.贪心算法：决策树在构建过程中采用贪心算法，即在每个节点选择最优的划分特征和划分点，以局部最优来近似全局最优。这种方式使得决策树对训练数据中的噪声非常敏感，因为一个错误的划分可能会导致后续子树的生长出现偏差，进而影响整个模型的准确性。 2.决策树通常会生长到所有叶子节点都是纯节点或者达到预设的停止条件为止。这意味着决策树会尽可能地去拟合训练数据中的每一个细节，包括噪声数据。在医疗诊断场景中，噪声数据可能表现为患者偶尔的错误描述或异常值，如果决策树过度拟合这些噪声，就会导致模型在新的测试数据上表现不佳，因为这些噪声并不能代表真实的疾病特征。

②特征随机选择：随机森林在构建每棵决策树时，不是考虑所有的特征，而是随机选择一部分特征来进行节点划分。这样做的好处是，即使训练数据中存在噪声数据，由于每次只使用了部分特征，噪声特征被选中的概率相对较低。例如，在医疗诊断中，可能有多个症状作为特征，其中一些症状可能因为患者误填而成为噪声特征。通过随机选择特征，使得每棵决策树不会同时受到所有噪声特征的影响，从而降低了噪声对模型的干扰，提高了模型的泛化能力。 多数投票机制：随机森林通过集成多棵决策树的结果，并采用多数投票机制来进行最终的决策。即使某棵决策树因为噪声数据而产生了错误的分类结果，但由于其他决策树可能不受该噪声的影响，仍然能够给出正确的分类，通过多数投票，最终可以抑制这些错误分类的影响

1.动手实践

天气情况
├── 晴天
│   ├── 年轻（<30岁）
│   │   ├── BMI正常 → 跑步 / 骑行
│   │   └── BMI偏高 → 游泳
│   └── 年长（≥30岁）→ 羽毛球 / 健步走
├── 雨天
│   ├── 有健身房 → 力量训练 / 瑜伽
│   └── 无健身房 → 跳绳 / 居家HIIT
└── 寒冷天气
    ├── 短时间（<30分钟）→ 快速跳绳 / 热身操
    └── 长时间（≥30分钟）→ 室内游泳 / 滑雪

2.① 决策树的哪些特性使其容易受到噪声数据的影响？

1. 高方差
   决策树对训练数据的变化非常敏感，任何小的扰动（如噪声或异常值）都可能导致树结构发生显著变化。这使得模型对噪声数据过度拟合。

2. 贪心算法的本质
   决策树采用贪心算法，在每个节点选择最优分裂特征和阈值。这种逐层优化的方式可能导致局部最优解，而无法全局考虑噪声的影响。

3. 无正则化机制
   如果不对决策树进行剪枝或限制深度，它会尽可能拟合所有训练数据（包括噪声），从而导致过拟合。

4. 数据中的噪声被直接建模
   决策树倾向于将训练数据中的每一个细节都视为重要信息，即使是患者误填的症状或测量误差，也可能被当作真实的模式建模。

② 随机森林如何通过“特征随机选择”和“多数投票机制”缓解这一问题？

1. 特征随机选择

• 在随机森林中，每棵树只从一个随机子集的特征中选择分裂点，而不是使用所有特征
• 这种特征随机选择的好处：
  • 减少了噪声特征对模型的影响。即使某些特征包含噪声（如患者误填症状），它们也不会总是被选中，从而降低了噪声对最终预测的作用。
  • 增强了模型的鲁棒性，因为不同树关注不同的特征组合，避免了单一特征对整个模型的过度影响。

2. 多数投票机制

• 随机森林由多棵决策树组成，每棵树独立生成，并通过多数投票（分类任务）或平均值（回归任务）得出最终预测结果。 这种机制的作用：
  • 减少噪声的影响：单棵树可能因为噪声数据产生错误预测，但随机森林通过综合多棵树的结果，能够“抵消”这些错误。例如，如果有100棵树，其中90棵正确预测，10棵因噪声数据错误预测，最终的多数投票仍能得出正确的结果。

姓名：陈柯名

1. 绘制“假期运动选择”决策树

决策树结构：

根节点：天气情况（晴天/阴天/雨天）
  晴天
    内部节点：体重指数（BMI < 24 / BMI ≥ 24）
      BMI < 24 → 叶子节点：推荐“跑步”
      BMI ≥ 24 → 叶子节点：推荐“游泳”
  阴天
    内部节点：设施投入（高/低）
      高 → 叶子节点：推荐“羽毛球”
      低 → 叶子节点：推荐“跳绳”
  雨天
    叶子节点：推荐“室内健身操”

根节点选择理由：

• 天气情况是对运动类型影响最大的因素之一

2. 随机森林的改进与决策树的局限性

①决策树的哪些特性使其容易受到噪声数据的影响？

• 对数据敏感；过拟合倾向；局部最优划分

② 随机森林如何缓解这一问题？

• 特征随机选择
• 多数投票机制

天气情况
├── 晴天
│   ├── 儿童
│   │   ├── 偏瘦 → 游戏类活动（如踢毽子）
│   │   ├── 正常 → 跳绳
│   │   └── 偏胖 → 户外跑步
│   ├── 青少年
│   │   ├── 偏瘦 → 篮球
│   │   ├── 正常 → 羽毛球
│   │   └── 偏胖 → 骑自行车
│   └── 成年人
│       ├── 偏瘦 → 慢跑
│       ├── 正常 → 登山
│       └── 偏胖 → 快走
└── 雨天
    ├── 儿童
    │   ├── 偏瘦 → 室内游戏
    │   ├── 正常 → 健身操
    │   └── 偏胖 → 室内游泳
    ├── 青少年
    │   ├── 偏瘦 → 动感单车
    │   ├── 正常 → 瑜伽
    │   └── 偏胖 → 动感单车
    └── 成年人
        ├── 偏瘦 → 瑜伽
        ├── 正常 → 健身房力量训练
        └── 偏胖 → 室内游泳

任务2：随机森林的改进与决策树的局限性

① 决策树容易受到噪声数据影响的特性

• 高方差问题：决策树是一种贪婪算法，在构建过程中对训练数据高度敏感。微小的数据变化可能导致树结构的巨大差异。
• 过拟合风险：决策树倾向于过度学习训练数据中的细节，包括噪声和异常值，从而在测试数据上表现不佳。
• 单一路径依赖：每个样本只能沿一条路径到达叶节点，一旦某个条件判断错误，可能会导致整个预测结果偏离。

② 随机森林如何缓解这一问题

1. 特征随机选择：

   • 在构建每棵树时，不使用全部特征，而是从特征集中随机选取一部分进行分裂。这降低了模型对某些特定特征的依赖，从而减少过拟合。
   • 例如，在医疗诊断中，症状A可能因患者误填而成为噪声。如果只用症状A进行分类，容易产生偏差；但通过随机选择其他症状，可以有效平衡噪声的影响。

2. 多数投票机制：

   • 随机森林由多棵决策树组成，最终预测结果通过所有树的投票决定（分类问题）或取平均值（回归问题）。这种方法可以抵消单棵树的偏差和噪声影响。
   • 例如，假设某患者的真实病症为X，但由于训练数据中的噪声，单棵决策树可能错误地预测为Y。然而，随机森林中的大多数树仍会正确预测为X，从而提高整体准确性。

总结

通过特征随机选择和多数投票机制，随机森林不仅增强了模型的鲁棒性，还有效缓解了决策树对噪声数据的敏感性，使其在复杂场景（如医疗诊断）中更加可靠。

开始 | |--> 年龄 < 18岁? | | | |--> 是 --> 推荐：户外活动（如跑步、骑自行车） | | 天气晴朗？ --> 是 --> 户外跑步/骑自行车 | | --> 否 --> 室内跳绳或健身操 | | |--> 否 --> 进入下一步 | |--> BMI > 25? | | | |--> 是 --> 推荐：低冲击有氧运动 | | 设施投入高？ --> 是 --> 健身房器械训练（如椭圆机） | | --> 否 --> 快走或游泳 | | |--> 否 --> 进入下一步 | |--> 天气情况？ | | | |--> 晴天 --> 推荐：户外运动（如慢跑、羽毛球） | | 运动时长 > 1小时？ --> 是 --> 羽毛球/篮球 | | --> 否 --> 慢跑 | | |--> 阴天/雨天 --> 推荐：室内运动 | 设施投入高？ --> 是 --> 健身房锻炼（如瑜伽、动感单车） | --> 否 --> 在家做HIIT或瑜伽 | 结束

解释

1. 年龄：根据年龄的不同，推荐的运动类型会有所差异。青少年更适合活泼的户外活动，而成年人可能需要更注重健康和针对性的运动。
2. 体重指数（BMI）：如果BMI较高，建议选择低冲击的运动方式，避免对关节造成过大压力。
3. 天气情况：晴天适合户外运动，而阴天或雨天则更适合室内活动。
4. 运动时长：短时间运动可以选择强度较低的活动，而长时间运动可以考虑更有挑战性的项目。
5. 设施投入：如果有条件进入健身房，可以利用专业设备进行锻炼；如果没有条件，则可以选择低成本的家庭运动方式。

决策树结构

根节点（天气情况）
├── 晴天
│   ├── BMI ≥ 25（高体重指数）
│   │   ├── 设施投入高 → 推荐游泳
│   │   └── 设施投入低 → 推荐快走
│   └── BMI < 25（正常体重指数）
│       ├── 设施投入高 → 推荐羽毛球
│       └── 设施投入低 → 推荐跑步
├── 雨天/阴天
│   ├── BMI ≥ 25（高体重指数）
│   │   ├── 设施投入高 → 推荐瑜伽
│   │   └── 设施投入低 → 推荐跳绳
│   └── BMI < 25（正常体重指数）
│       ├── 设施投入高 → 推荐健身操
│       └── 设施投入低 → 推荐俯卧撑
└── 极端天气（高温/暴风雨）
    ├── BMI ≥ 25（高体重指数）
    │   ├── 设施投入高 → 推荐室内游泳
    │   └── 设施投入低 → 推荐家庭瑜伽
    └── BMI < 25（正常体重指数）
        ├── 设施投入高 → 推荐动感单车
        └── 设施投入低 → 推荐平板支撑

1. **贪婪分割机制**：
   - 决策树在选择分割点时，通常使用贪心算法（如信息增益、基尼指数等）来找到当前最佳分割点。这种局部最优选择可能导致在噪声数据上过度拟合，因为噪声可能会被误认为是重要的分割特征。

2. **高方差问题**：
   - 决策树对训练数据的变化非常敏感。即使是微小的数据变化或噪声，也可能导致完全不同的树结构。特别是在数据量较少或噪声较多的情况下，这种高方差问题会更加明显。

3. **过拟合倾向**：
   - 决策树没有内置的正则化机制，如果树的深度过大或叶子节点过多，模型可能会捕捉到训练数据中的噪声，而不是真实的模式。这会导致在测试数据上的泛化能力下降。

4. **单一模型依赖**：
   - 决策树是一个单一的模型，所有预测都依赖于同一棵树的路径。如果某些分支因噪声而错误生长，将直接影响最终结果。

**随机森林是一种集成学习方法，通过构建多个决策树并综合它们的结果来提高模型的鲁棒性和泛化能力。以下是两种关键机制如何缓解决策树对噪声的敏感性：**

#### **1. 特征随机选择**
   - 在构建每棵决策树时，随机森林不会使用全部特征，而是从所有特征中随机选择一个子集进行分割。这种方法有以下好处：
     - **减少特征相关性**：由于每次分割只考虑部分特征，不同树之间的相关性降低，从而减少了单个噪声特征对整体模型的影响。
     - **增强多样性**：特征随机选择使得每棵树更有可能关注不同的数据模式，而不是集中在某几个可能受噪声影响的特征上。这种多样性可以有效平滑噪声的影响。

#### **2. 多数投票机制**
   - 随机森林在预测阶段采用多数投票（分类任务）或平均值（回归任务）的方法来整合多个决策树的结果。这种方式的优势包括：
     - **噪声抵消**：单棵树可能会因噪声做出错误预测，但多棵树的预测结果经过投票后，噪声影响会被稀释甚至消除。例如，如果只有少数树因噪声数据产生了错误预测，多数树仍然可以给出正确的结果。
     - **提高鲁棒性**：由于随机森林整合了多棵树的信息，即使某些树因噪声而过拟合，整体模型仍能保持较好的泛化能力。

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。

要求： ①根节点需选择对运动类型影响最大的条件（如天气情况），并说明选择理由。 天气情况对运动的选择影响最大。晴天适合户外运动，而雨天或寒冷的天气可能更适合室内活动。

②至少包含3层节点（根节点、内部节点、叶子节点）。

③叶子节点需明确最终推荐的运动项目（如“跳绳”“游泳”“羽毛球”等）。 决策树图示

              天气情况
           /      |       \
        晴天     阴天    雨天/雪天
       /    \     /  \       /   \
年龄≤18 年龄>18体重指数高体重指数正常 设施有 设施无
    跳绳    羽毛球 快走  骑自行车 跑步机 瑜伽

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。

讨论： ①决策树的哪些特性使其容易受到噪声数据的影响？ 贪心算法、过度分割、缺乏正则化以及单一路径依赖等

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？ 特征随机选择减少了单个噪声特征的影响。 多数投票机制通过集成多棵树的结果，平滑了噪声带来的偏差。

1.决策树图示

天气情况（根节点）
├── 晴天
│   ├── 体重指数 > 24
│   │   └── 推荐：游泳（叶子节点）
│   └── 体重指数 ≤ 24
│       └── 运动时长 < 1小时
│           └── 推荐：羽毛球（叶子节点）
│           └── 运动时长 ≥ 1小时
│               └── 推荐：骑自行车（叶子节点）
└── 阴天/雨天
    ├── 设施投入低
    │   └── 推荐：跳绳（叶子节点）
    └── 设施投入高
        └── 推荐：健身房训练（叶子节点）

2.1：

1.对数据的高度敏感性
2.过拟合倾向
3.贪心算法的局限性
4.小数据集上的不稳定性
5.缺乏鲁棒性

2.2：

1. **特征随机选择**：  
   在构建每棵决策树时，随机森林会从所有特征中随机选取一部分特征进行节点分裂。这种机制降低了单棵树对某些特定特征的过度依赖，增加了模型的多样性，从而减少过拟合的风险。

2. **多数投票机制**：  
   随机森林由多棵决策树组成，最终预测结果通过所有树的投票（分类问题）或平均（回归问题）得出。由于每棵树的训练数据和特征是随机的，它们之间的误差会相互抵消，整体模型的泛化能力更强，有效避免了单一决策树可能产生的过拟合。

特征随机选择增加了模型的多样性，而多数投票机制通过集成多棵树的结果提升了模型的稳定性，两者结合有效缓解了过拟合问题。

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。

根节点: 天气情况
├── 晴天
│   ├── 条件1: 体重指数 > 25 → 推荐跳绳（适合减脂）
│   └── 条件2: 体重指数 ≤ 25 → 推荐羽毛球（趣味性高）
├── 阴天
│   ├── 条件1: 年龄 < 30 → 推荐跑步（锻炼心肺功能）
│   └── 条件2: 年龄 ≥ 30 → 推荐瑜伽（放松身心）
└── 雨天
    ├── 条件1: 设施投入充足 → 推荐游泳（全身锻炼）
    └── 条件2: 设施投入不足 → 推荐室内健身操

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。 决策树模型具有以下特性，使其容易受到噪声数据的影响：

贪婪算法的特性：  决策树在构建过程中采用贪婪算法，每次选择最佳分割点以最大化信息增益或最小化不纯度。这种方法可能导致模型过度拟合训练数据中的噪声。  
 单一路径依赖： 决策树的预测完全依赖于单一分支路径，如果某条路径上存在噪声数据（例如患者误填症状），整个分支的预测结果可能会被误导。
 数据敏感性：决策树对训练数据的小幅变化非常敏感。即使是轻微的数据扰动（如噪声或异常值），也可能导致树结构发生显著变化。 

随机森林是一种集成学习方法，通过以下机制有效缓解决策树的局限性：

1. 特征随机选择
   在构建每棵决策树时，随机森林会从所有特征中随机选择一部分特征进行分裂，而不是使用全部特征。这种机制减少了单一特征对模型的主导作用，从而降低了噪声数据对整体模型的影响。

2. 多数投票机制
   随机森林由多棵决策树组成，最终预测结果通过“多数投票”（分类任务）或“平均值”（回归任务）得出。即使某棵决策树因噪声数据产生了错误预测，其影响也会被其他树的结果抵消，从而提高了模型的鲁棒性。

3. 数据采样（Bootstrap Sampling）
   每棵决策树的训练数据是从原始数据集中随机采样生成的子集（有放回抽样）。这种方法确保了每棵树的训练数据多样化，避免了单一噪声数据对模型的过度影响。

结合本节课的学习，完成下列问题的思考与讨论。

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。

要求： ①根节点需选择对运动类型影响最大的条件（如天气情况），并说明选择理由。

②至少包含3层节点（根节点、内部节点、叶子节点）。

③叶子节点需明确最终推荐的运动项目（如“跳绳”“游泳”“羽毛球”等）。

天气情况
├── 晴天
│   ├── 儿童 (<12岁): 户外游戏
│   ├── 青少年 (12-18岁): 团队运动
│   └── 成年人 (>18岁)
│       ├── BMI < 25: 跑步、骑行
│       └── BMI ≥ 25: 健身、瑜伽
├── 雨天
│   ├── 有室内运动设施: 健身房锻炼、游泳
│   └── 无室内运动设施: 居家运动（瑜伽、跳绳）
└── 雪天
    ├── 短时间 (<1小时): 散步、简单拉伸
    └── 长时间 (≥1小时): 滑雪、雪地徒步

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。

讨论： ①决策树的哪些特性使其容易受到噪声数据的影响？ 答：决策树容易受噪声影响的特性，随机森林的改进机制 ②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？ 答：实现方式：在每个节点分裂时，只从随机选取的部分特征中寻找最佳分裂点。 通常选取特征数的平方根或对数数量。

姓名：戴之哲

1·天气情况

├── 晴天
│   ├── 运动时长：长时间 → 
           推荐：骑自行车
│   └── 运动时长：短时间 →
           推荐：跳绳
├── 雨天

│   ├── 设施投入：有健身房 →
           推荐：跑步机锻炼
│   └── 设施投入：无健身房 →
           推荐：瑜伽
└── 阴天
    ├── 体重指数：BMI低 → 
           推荐：羽毛球
    └── 体重指数：BMI高 → 
            推荐：游泳

2·① 决策树的哪些特性使其容易受到噪声数据的影响？

决策树是一种基于规则的模型，它通过递归地分割数据集来生成树形结构。然而，这种算法有几个特性使其容易受到噪声数据的影响：

1. 对训练数据的高度敏感性
   决策树在构建过程中会尽量拟合训练数据，尤其是当树的深度较大时，它会将训练数据中的每一个细节都反映到最终的模型中。如果训练数据中包含噪声（例如患者误填症状或测量误差），这些噪声可能会被错误地视为重要的特征，从而导致过拟合。

2. 贪心算法的本质
   决策树的分裂过程是基于贪心算法的，每次选择最优的分裂点以最大化信息增益或其他指标。这种局部最优的选择可能导致全局模型不稳定，尤其是在噪声数据干扰的情况下，某些不相关的特征可能被错误地认为是重要的。

3. 缺乏正则化机制
   决策树本身没有内置的机制来控制模型复杂度，除非通过人为设置树的最大深度、最小样本分割等超参数。如果没有适当的限制，模型可能会过度拟合噪声数据，导致泛化能力下降。

② 随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

随机森林是一种基于多个决策树的集成学习方法，它通过以下两种关键技术有效缓解了单棵决策树易受噪声影响的问题：

1. 特征随机选择

   • 在构建每棵决策树时，随机森林不是使用所有特征，而是从特征集中随机选择一部分特征进行分裂。例如，在医疗诊断场景中，假设总共有10个特征（如年龄、体温、血压等），随机森林可能只随机选择其中的3-5个特征来构建每一棵树。 这种随机选择减少了噪声特征对单棵树的影响。即使某些特征因噪声而表现异常，它们也不会在所有树中都起作用，从而降低了模型对噪声的敏感性。

2. 多数投票机制（Bagging） 随机森林通过对多棵决策树的结果进行投票（分类任务）或平均（回归任务）来得到最终预测结果。例如，在医疗诊断中，多棵决策树可能会分别给出“患病”或“未患病”的预测，随机森林会根据多数树的预测结果作为最终输出。 噪声数据可能会影响单棵树的预测，但由于随机森林整合了多棵树的结果，单棵树的偏差会被其他树的正确预测所抵消，从而提高了模型的鲁棒性和泛化能力。

总结：随机森林的优势

• 减少过拟合风险：通过特征随机选择和样本随机采样（Bootstrap Aggregating），随机森林降低了对噪声数据的依赖。
• 提高稳定性：多数投票机制使得模型更加稳定，不容易受到个别噪声样本或特征的干扰。
• 增强泛化能力：由于集成学习的本质，随机森林能够更好地处理复杂的现实数据，包括医疗诊断中的不确定性。

决策树绘制

1. 根节点选择及理由 根节点选择 “天气情况”。理由是天气情况是对假期运动选择影响最大的外部因素，它直接决定了很多运动是否能够在户外进行。例如，下雨天不适合进行户外的跑步、足球等运动，而晴天则可以选择更多种类的户外运动。不同的天气状况会极大地限制或拓展可选择的运动项目范围，所以将其作为根节点可以更有效地对运动选择进行初步筛选。
2. 决策树结构 天气情况 /
   晴天 非晴天 / \ /
   温度高 温度适中 室内设施好 室内设施差 / \ / \ / \ /
   体重指数高 低 体重指数高 低 年龄大 小 年龄大 小 | | | | | | | | 游泳 跳绳 羽毛球 跑步 乒乓球 瑜伽 室内操 拉伸
3. 各节点说明 根节点：天气情况，分为 “晴天” 和 “非晴天” 两种情况。 第二层节点： 晴天时，进一步根据 “温度” 分为 “温度高” 和 “温度适中”。 非晴天时，根据 “室内设施情况” 分为 “室内设施好” 和 “室内设施差”。 第三层节点： 温度高和温度适中的情况下，再根据 “体重指数” 分为 “体重指数高” 和 “体重指数低”。 室内设施好和室内设施差的情况下，根据 “年龄” 分为 “年龄大” 和 “年龄小”。 叶子节点： 温度高且体重指数高推荐 “游泳”，因为游泳是全身性运动，在高温下能有效散热，且对关节压力小，适合体重较大的人。 温度高且体重指数低推荐 “跳绳”，跳绳是一种高效的有氧运动，不受场地太大限制，在高温天气短时间运动也能达到锻炼效果。 温度适中且体重指数高推荐 “羽毛球”，羽毛球运动强度适中，能锻炼到全身多个部位，对体重较大者比较友好。 温度适中且体重指数低推荐 “跑步”，跑步是简单易行的有氧运动，适合体重较轻且身体素质较好的人在适宜温度下进行。 室内设施好且年龄大推荐 “乒乓球”，乒乓球运动强度相对较低，对反应能力和身体协调性有锻炼作用，适合老年人。 室内设施好且年龄小推荐 “瑜伽”，瑜伽有助于培养孩子的身体柔韧性和专注力。 室内设施差且年龄大推荐 “室内操”，室内操动作简单，可在较小空间内进行，适合老年人活动身体。 室内设施差且年龄小推荐 “拉伸”，拉伸能帮助孩子身体成长和放松，对场地和设施要求低。

决策树绘制

根节点：天气情况

选择理由：天气情况是影响运动类型的关键因素之一。例如，如果天气恶劣（如下雨或暴雪），室外运动无法进行；而晴天时，可以选择更多类型的户外活动。因此，将“天气情况”作为根节点最为合理。

• 分支1：晴天

  • 内部节点：年龄
    • 分支1.1：儿童（<18岁）
      • 叶子节点：跳绳（推荐理由：适合儿童的全身运动，容易上手）
    • 分支1.2：成年人（18-60岁）
      • 内部节点：体重指数（BMI）
        • 分支1.2.1：BMI > 25（超重）
          • 叶子节点：慢跑（推荐理由：有助于减脂，且对关节冲击较小）
        • 分支1.2.2：BMI ≤ 25（正常范围）
          • 叶子节点：羽毛球（推荐理由：趣味性强，锻炼协调性）
    • 分支1.3：老年人（≥60岁）
      • 叶子节点：太极拳（推荐理由：低强度，有助于平衡和柔韧性）

• 分支2：雨天

  • 内部节点：设施投入
    • 分支2.1：有室内健身器材
      • 叶子节点：动感单车（推荐理由：高强度有氧运动，适合室内）
    • 分支2.2：无室内健身器材
      • 内部节点：运动时长
        • 分支2.2.1：短时间（<30分钟）
          • 叶子节点：瑜伽（推荐理由：短时间即可放松身心）
        • 分支2.2.2：长时间（≥30分钟）
          • 叶子节点：室内游泳（推荐理由：全身运动，适合长时间锻炼）

• 分支3：暴雪/极端天气

  • 内部节点：兴趣偏好
    • 分支3.1：喜欢静态运动
      • 叶子节点：普拉提（推荐理由：低强度，专注于核心力量）
    • 分支3.2：喜欢动态运动
      • 叶子节点：家庭健身操（推荐理由：无需器械，适合家庭环境）

决策树结构总结

1. 根节点：天气情况（晴天、雨天、暴雪/极端天气）。
2. 内部节点：根据天气条件进一步细分，包括年龄、体重指数、设施投入、运动时长、兴趣偏好等。
3. 叶子节点：最终推荐的运动项目，如跳绳、慢跑、羽毛球、太极拳、动感单车、瑜伽、室内游泳、普拉提、家庭健身操等。

图表示例

天气情况
├── 晴天
│   ├── 儿童 (<18岁): 跳绳
│   ├── 成年人 (18-60岁)
│   │   ├── BMI > 25: 慢跑
│   │   └── BMI ≤ 25: 羽毛球
│   └── 老年人 (≥60岁): 太极拳
├── 雨天
│   ├── 有室内健身器材: 动感单车
│   └── 无室内健身器材
│       ├── 短时间 (<30分钟): 瑜伽
│       └── 长时间 (≥30分钟): 室内游泳
└── 暴雪/极端天气
    ├── 喜欢静态运动: 普拉提
    └── 喜欢动态运动: 家庭健身操

讨论

① 决策树的哪些特性使其容易受到噪声数据的影响？

决策树是一种基于规则的模型，通过递归地对数据进行分割来生成树状结构。然而，它的以下特性使其容易受到噪声数据的影响：

1. 高方差（High Variance）：

   • 决策树的分割过程非常依赖于训练数据的分布。如果训练数据中存在噪声（如患者误填症状或测量误差），这些噪声可能会被错误地视为重要特征，导致模型做出不必要的复杂分割。
   • 这种对训练数据的高度敏感性使得决策树容易过拟合，尤其是在数据量较小或噪声较多的情况下。

2. 贪婪算法（Greedy Algorithm）：

   • 决策树采用贪心算法，在每一步选择当前最优的分割点，而不考虑全局最优解。这种局部最优的选择可能导致模型过于关注噪声数据中的异常值，从而生成不稳定的规则。

3. 缺乏正则化机制：

   • 决策树在默认情况下没有内置的正则化机制来限制其复杂度。例如，它可能生成非常深的树，试图完全拟合训练数据，包括噪声。这进一步加剧了过拟合的风险。

4. 对单个特征的过度依赖：

   • 决策树每次分割时仅依赖于一个特征，因此某些噪声特征可能会被错误地选为重要的分割依据，导致模型性能下降。

② 随机森林如何缓解这一问题？

随机森林是一种集成学习方法，通过构建多个决策树并结合它们的预测结果来提高模型的稳定性和泛化能力。它通过以下两种核心机制有效缓解了噪声数据的影响：

1. 特征随机选择（Feature Random Selection）

• 在构建每一棵决策树时，随机森林会对特征进行随机抽样。具体来说，每次分裂节点时，并非考虑所有特征，而是从所有特征中随机选择一个子集进行评估。
• 作用：
  • 减少了单一噪声特征对模型的影响。由于每一棵树只使用一部分特征进行训练，噪声特征不太可能被多次选中作为分裂依据。
  • 增加了模型的多样性，避免了所有树都过度拟合同一组噪声数据。

2. 多数投票机制（Majority Voting Mechanism）

• 随机森林通过“多数投票”或“平均预测”的方式综合多棵树的结果。对于分类任务，最终预测结果是所有树的投票结果；对于回归任务，则取所有树的预测均值。
• 作用：
  • 多数投票机制能够平滑掉个别树的极端预测。即使某些树因噪声数据产生了错误预测，其他树的正确预测可以通过投票机制抵消这些错误。
  • 提高了模型的鲁棒性，减少了单棵树过拟合噪声的可能性。

3. 样本随机采样（Bootstrap Sampling）

• 随机森林还采用了自助采样法（Bootstrap Sampling），即每次从原始数据集中随机抽取部分样本进行训练，且允许重复抽样。
• 作用：
  • 每棵树基于不同的样本子集训练，进一步增加了模型的多样性。
  • 即使某些样本包含噪声，这些噪声也只会对少数树产生影响，而不会传播到整个模型。

总结

• 决策树的局限性：高方差、贪婪算法、缺乏正则化机制以及对单个特征的过度依赖，使其容易受到噪声数据的影响。
• 随机森林的优势：通过特征随机选择、多数投票机制和样本随机采样，随机森林有效地降低了噪声数据对模型的影响，提高了模型的稳定性和泛化能力。

在医疗诊断场景中，随机森林可以更好地处理患者误填症状等噪声数据，减少过拟合风险，从而提供更可靠的诊断建议。

5.2【机器学习算法】决策树与随机森林的认识

董昊轩 结合本节课的学习，完成下列问题的思考与讨论。

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。

要求： ①根节点需选择对运动类型影响最大的条件（如天气情况），并说明选择理由。

②至少包含3层节点（根节点、内部节点、叶子节点）。

③叶子节点需明确最终推荐的运动项目（如“跳绳”“游泳”“羽毛球”等）。

├── 热天
│   ├── 运动时长 ≤ 1小时 → 跳绳
│   └── 运动时长 > 1小时 → ![](/file/687/Sc3bUxelkUM7LvqxcYcvA.png)
篮球
├── 冷天
│   ├── 年龄 < 18岁 → 跑步
│   └── 年龄 ≥ 18岁 → 健身房锻炼
└── 暖天
    ├── 设施投入低 → 室内瑜伽
    └── 设施投入高 → 游泳

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。

讨论：

①决策树的哪些特性使其容易受到噪声数据的影响？

‌追求局部最优的“完全分割” ‌ 忽略全局结构的局部最优选择 ‌ 噪声在稀疏数据中被放大 ‌ 对训练数据微小变化敏感

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

降低噪声特征对模型的系统性干扰 ‌； 通过群体决策抑制噪声引发的个体偏差 随机森林通过‌特征随机选择分散噪声风险‌，结合‌多数投票机制抑制噪声偏差‌，有效缓解了单棵决策树对噪声数据的敏感性，提升了模型的稳定性和泛化能力‌

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景

决策树图示

天气情况
├── 晴天
│   ├── 儿童（≤12岁） → 跳绳
│   ├── 青少年（13-18岁） → 篮球
│   └── 成年人（≥19岁） → 跑步
├── 阴天
│   ├── 低体重（BMI < 18.5） → 瑜伽
│   ├── 正常体重（18.5 ≤ BMI ≤ 24） → 骑自行车
│   └── 超重（BMI > 24） → 快走
└── 雨天
    ├── 低成本 → 俯卧撑
    ├── 中成本 → 动感单车
    └── 高成本 → 游泳

2.随机森林的改进与决策树的局限性 容易过拟合：

• 决策树在训练过程中会尽可能地分割数据，试图让每个叶子节点都纯化（即包含单一类别的样本）。
• 在医疗诊断场景中，患者可能误填症状或数据中存在噪声，导致决策树捕捉到这些无关的细节，从而过拟合。

对数据敏感：

• 决策树对数据中的小变化非常敏感。例如，一个轻微的数据扰动（如新增几个样本或特征值的微小变化）可能导致完全不同的树结构。
• 在医疗数据中，患者的症状和病史可能有较大个体差异，这会增加模型的不稳定性。

偏向于多类别特征：

• 如果某个特征的取值范围很大（如连续型变量），决策树可能倾向于优先选择这个特征进行分裂，而忽略了其他重要特征。
• 例如，在诊断疾病时，某些症状可能是二分类的（如“是/否”），而一些实验室指标可能是连续的（如血红蛋白浓度）。决策树可能会偏向于使用连续型特征。

缺乏鲁棒性：

• 单一的决策树在面对复杂问题时表现较差，因为它无法很好地捕捉特征之间的非线性关系。

1. 减少过拟合

• 随机森林通过构建多个决策树，并对它们的结果进行投票（分类问题）或平均（回归问题）来得出最终预测。
• 每棵树只用部分数据（通过自助采样法，Bootstrap Sampling）和部分特征进行训练，因此每棵树都略有不同。
• 这种多样化的树集合有效降低了模型对噪声的敏感性，减少了过拟合的风险。

2. 提高泛化能力

• 随机森林通过集成多个树的预测结果，能够更好地捕捉数据的整体趋势，而不是过分关注单个样本的细节。
• 在医疗诊断中，这种特性使得模型更不容易受到个别患者误填症状的影响。

3. 降低对单一特征的依赖

• 每次分裂时，随机森林只随机选择一部分特征进行分裂，避免了单一特征对模型结果的过度影响。
• 对于医疗数据，这种方法可以平衡连续型特征（如实验室指标）和离散型特征（如症状）的重要性，避免模型偏向某一类特征。

4. 增强鲁棒性

• 随机森林通过集成多个弱学习器（决策树），形成一个强学习器，大大提高了模型的稳定性和鲁棒性。
• 在医疗场景中，即使某些患者的数据存在噪声或异常值，随机森林仍然能够提供相对可靠的诊断结果。

一、“假期运动选择” 决策树绘制

（一）根节点选择及理由

选择天气情况作为根节点。 理由如下：天气对假期运动的选择有着极大的限制和导向作用。比如在暴雨、暴雪等恶劣天气下，大部分户外运动都无法进行，人们基本只能选择室内运动；而在晴朗温暖的天气里，可供选择的户外运动项目就丰富多样。相比其他因素，天气状况能率先且大范围地缩小运动选择范围，所以将其作为根节点最为合适。

（二）决策树绘制

在晴或多云天气下，如果体重指数小于等于 24 且运动时长小于等于 1 小时，推荐跳绳，这是一项简单易行、不受场地过多限制且能在短时间内达到一定锻炼效果的运动；若运动时长大于 1 小时，推荐羽毛球，能充分利用较长的运动时间，进行全身性的锻炼。当体重指数大于 24 时，同样依据运动时长区分，较短时间选择健身操，避免过重身体负担，长时间则选择室内网球，在相对宽敞空间锻炼。

在恶劣天气下，室内空间充足时，若运动时长小于等于 1 小时，瑜伽是不错的选择，修身养性且场地需求小；大于 1 小时可做普拉提，深入锻炼肌肉力量。室内空间不足时，运动时长短选择原地高抬腿，简单快速提升心率，时间长就进行室内健身走，保障一定运动量。

二、随机森林的改进与决策树的局限性

（一）决策树易受噪声数据影响的特性

分裂规则的确定性：决策树依据特征进行分裂，每个节点选取一个最优特征和对应的分裂阈值，力求将数据划分得最 “纯净”。一旦训练数据存在噪声，如患者误填症状，决策树可能会把这些错误信息当作真实的特征差异，过度拟合这些异常数据，使得模型结构变得复杂且不合理。例如，本来某症状在正常数据集中与疾病关联不大，但因噪声数据中大量误填，导致决策树将该症状作为关键分裂节点，偏离了真实的疾病判别逻辑。 缺乏数据的综合考量：决策树在构建过程中，是对单条数据逐步进行处理，每次分裂只关注当前节点的最优划分，没有全局地考虑数据整体分布以及特征之间的协同关系。所以当噪声数据混入，容易在局部扰乱模型的学习，造成错误分支的产生，而且后续分支的构建又基于前面的错误基础，错误会层层累积。

（二）随机森林的缓解机制

特征随机选择：随机森林在构建每棵决策树时，并不是使用全部特征，而是随机选取一部分特征进行节点分裂。这就降低了噪声特征（由噪声数据产生的看似重要的特征）被选中的概率。例如在医疗诊断中，即使部分患者误填了一些症状，由于随机森林每次只考虑少量随机特征，这些错误症状不太可能每次都被选到，从而避免单棵决策树对噪声特征的过度依赖，使得模型整体不过度拟合噪声数据。

                           [天气情况]
                          /      |       \
                      晴天    多云/阴天    雨天
                      /         |           \
              [年龄]       [体重指数]     [运动设施]
             /   \        /    |    \      /     \
         青少年  成人  偏瘦  正常  超重  室内   室外
           |       |      |     |     |    /       \
       [运动时长]  ...  ...  ...  ...  健身房   游泳
         /   \
    <1小时  ≥1小时
       |       |
    跳绳     羽毛球

①决策树的哪些特性使其容易受到噪声数据的影响？

1.对数据微小变化的敏感性
2.过拟合倾向
3.局部最优偏好

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

1.在医疗数据中，若某症状字段因患者误填成为噪声特征，单棵树可能选中该特征进行分裂，但其他树可能通过随机选择避开该噪声特征
2‌.通过多棵树的多样性集成，避免单棵树因噪声数据生成过于复杂的分裂规则，降低模型对噪声的敏感度‌

年龄 | <18岁----------------------≥18岁 | | 青少年运动选项 成人运动选项 | | BMI偏高？ 天气情况？ | | 是----否 晴天/多云----雨天/恶劣天气 | | | | 游泳/骑车 篮球/跑步 运动时长>1小时？ 设施投入？ | | | | 慢跑/徒步 HIIT/跳绳 健身房 居家运动

1. **根节点：天气情况**
   - 如果天气晴朗，优先考虑户外运动。
   - 如果下雨，则选择室内运动。

2. **第一层内部节点：年龄**
   - 对于青少年（<18岁），推荐较为活跃的运动。
   - 对于成年人（≥18岁），根据身体状况选择适合的运动。

3. **第二层内部节点：体重指数（BMI）**
   - BMI较高的人适合低冲击运动，以保护关节。
   - BMI正常的人可以选择更高强度的运动。

4. **叶子节点：具体运动项目**
   - **晴天 + 年轻 + BMI高 → 游泳**：游泳对关节友好，且能有效减脂。
   - **晴天 + 成年 + BMI正常 → 篮球**：篮球是一项全身运动，适合成年人锻炼。
   - **雨天 + 年轻 + BMI正常 → 跳绳**：跳绳是一种高效的室内有氧运动。
   - **雨天 + 成年 + BMI高 → 健身房训练**：健身房提供多样化的器械，可根据个人需求调整。

1. 动手实践：绘制“假期运动选择”决策树 以下是根据要求设计的决策树（文字描述形式）：

‌决策树结构‌ ‌根节点‌：天气情况 ‌选择理由‌：天气直接影响运动场景（如雨天无法进行户外运动），是最直接且影响最大的条件。

‌第二层节点‌：

晴天分支 → ‌体重指数（BMI）‌（高/正常） 雨天分支 → ‌设施投入‌（是否有室内场地/设备） 阴天分支 → ‌运动时长‌（短/中/长） ‌第三层节点‌：

晴天 + BMI高 → ‌推荐游泳‌（对关节压力小） 晴天 + BMI正常 → ‌推荐跑步‌（适合中高强度） 雨天 + 有设施 → ‌推荐羽毛球‌（室内场地） 雨天 + 无设施 → ‌推荐跳绳‌（无需设备） 阴天 + 短时长 → ‌推荐散步‌（低强度） 阴天 + 中时长 → ‌推荐骑自行车‌（中等强度） 阴天 + 长时长 → ‌推荐登山‌（高强度） ‌叶子节点‌：游泳、跑步、羽毛球、跳绳、散步、骑自行车、登山。

2. 随机森林的改进与决策树的局限性 ‌① 决策树易受噪声影响的特性‌ ‌追求节点纯度最大化‌：决策树通过分裂节点直至样本完全分类（如基尼不纯度为0），容易对噪声数据（如患者误填症状）生成不必要的分裂规则。 ‌对局部数据敏感‌：单次分裂基于当前子集的最优特征，若噪声数据干扰了信息增益（如误填症状导致某特征分裂看似有效），模型会错误学习噪声关联。 ‌高模型复杂度‌：深层决策树可能过度拟合训练数据中的噪声，导致泛化能力差。 ‌② 随机森林的改进机制‌ ‌特征随机选择‌：

每棵决策树仅随机选择部分特征进行分裂（如√p个特征），减少对噪声特征的依赖。 若某特征因噪声被误判为重要，其他树可通过不同特征组合抵消其影响。 ‌多数投票机制‌：

随机森林综合多棵树的预测结果，通过投票（分类）或平均（回归）降低单棵树过拟合噪声的风险。 即使少数树因噪声预测错误，多数正确树的投票仍能保证整体结果稳定。 ‌总结‌：随机森林通过“多样性构建”和“集体决策”，显著提升了模型对噪声数据的鲁棒性。

1. 动手实践：绘制“假期运动选择”决策树 以下是根据要求设计的决策树（文字描述形式）：

‌决策树结构‌ ‌根节点‌：天气情况 ‌选择理由‌：天气直接影响运动场景（如雨天无法进行户外运动），是最直接且影响最大的条件。

‌第二层节点‌：

晴天分支 → ‌体重指数（BMI）‌（高/正常） 雨天分支 → ‌设施投入‌（是否有室内场地/设备） 阴天分支 → ‌运动时长‌（短/中/长） ‌第三层节点‌：

晴天 + BMI高 → ‌推荐游泳‌（对关节压力小） 晴天 + BMI正常 → ‌推荐跑步‌（适合中高强度） 雨天 + 有设施 → ‌推荐羽毛球‌（室内场地） 雨天 + 无设施 → ‌推荐跳绳‌（无需设备） 阴天 + 短时长 → ‌推荐散步‌（低强度） 阴天 + 中时长 → ‌推荐骑自行车‌（中等强度） 阴天 + 长时长 → ‌推荐登山‌（高强度） ‌叶子节点‌：游泳、跑步、羽毛球、跳绳、散步、骑自行车、登山。

2. 随机森林的改进与决策树的局限性 ‌① 决策树易受噪声影响的特性‌ ‌追求节点纯度最大化‌：决策树通过分裂节点直至样本完全分类（如基尼不纯度为0），容易对噪声数据（如患者误填症状）生成不必要的分裂规则。 ‌对局部数据敏感‌：单次分裂基于当前子集的最优特征，若噪声数据干扰了信息增益（如误填症状导致某特征分裂看似有效），模型会错误学习噪声关联。 ‌高模型复杂度‌：深层决策树可能过度拟合训练数据中的噪声，导致泛化能力差。 ‌② 随机森林的改进机制‌ ‌特征随机选择‌：

每棵决策树仅随机选择部分特征进行分裂（如√p个特征），减少对噪声特征的依赖。 若某特征因噪声被误判为重要，其他树可通过不同特征组合抵消其影响。 ‌多数投票机制‌：

随机森林综合多棵树的预测结果，通过投票（分类）或平均（回归）降低单棵树过拟合噪声的风险。 即使少数树因噪声预测错误，多数正确树的投票仍能保证整体结果稳定。 ‌总结‌：随机森林通过“多样性构建”和“集体决策”，显著提升了模型对噪声数据的鲁棒性。

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。

要求： ①根节点需选择对运动类型影响最大的条件（如天气情况），并说明选择理由。

②至少包含3层节点（根节点、内部节点、叶子节点）。

③叶子节点需明确最终推荐的运动项目（如“跳绳”“游泳”“羽毛球”等）。

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。

讨论： ①决策树的哪些特性使其容易受到噪声数据的影响？

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

1

决策树的贪心算法、深度过深、单一路径依赖以及缺乏正则化机制，使其容易受到噪声数据的影响，导致过拟合。

2.

通过随机选择特征，减少了噪声数据对分裂过程的影响。 通过集合多棵树的预测结果，平滑了单个树的误差，增强了模型的鲁棒性。

随机森林通过上述机制，在医疗诊断等场景中能够有效缓解噪声数据的影响，从而提高模型的泛化能力和预测准确性。

动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。

要求： ①根节点需选择对运动类型影响最大的条件（如天气情况），并说明选择理由。

②至少包含3层节点（根节点、内部节点、叶子节点）。

③叶子节点需明确最终推荐的运动项目（如“跳绳”“游泳”“羽毛球”等）。

**答：**根节点选择及理由：选择 “天气情况” 作为根节点，理由是天气情况是一个比较宏观且对运动选择有较大限制和影响的因素。如果天气恶劣，如暴雨、大风等，很多户外运动就无法进行，所以天气情况能首先对运动选择范围进行较大程度的筛选。

决策树内容： 根节点：天气情况 分支 1：天气晴朗 内部节点 1：年龄 分支 1.1：年龄 < 18 岁 内部节点 2：运动时长 分支 1.1.1：运动时长 < 1 小时 叶子节点 1.1.1：跳绳（适合青少年且运动时间较短时进行） 分支 1.1.2：运动时长 ≥ 1 小时 内部节点 3：体重指数（BMI） 分支 1.1.2.1：BMI < 25 叶子节点 1.1.2.1：足球（适合年轻且体重正常的人长时间运动） 分支 1.1.2.2：BMI ≥ 25 叶子节点 1.1.2.2：慢跑（有助于体重较大的青少年进行锻炼） 分支 1.2：年龄 ≥ 18 岁 内部节点 4：设施投入 分支 1.2.1：设施投入高 叶子节点 1.2.1：网球（需要一定场地和器材投入） 分支 1.2.2：设施投入低 内部节点 5：体重指数（BMI） 分支 1.2.2.1：BMI < 25 叶子节点 1.2.2.1：骑行（适合体重正常成年人且设施投入低） 分支 1.2.2.2：BMI ≥ 25 叶子节点 1.2.2.2：健步走（对体重较大的成年人较合适） 分支 2：天气不晴朗（如暴雨、大风等） 内部节点 6：设施投入 分支 2.1：设施投入高 叶子节点 2.1：健身房力量训练（在室内且需要一定设施投入） 分支 2.2：设施投入低 叶子节点 2.2：室内瑜伽（对场地和设施要求相对较低，适合在室内进行） 这个决策树通过天气情况首先进行大范围筛选，再结合年龄、运动时长、体重指数和设施投入等因素，逐步细化推荐不同的假期运动项目。

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。

讨论： ①决策树的哪些特性使其容易受到噪声数据的影响？

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？ **答：**决策树容易受噪声数据影响的特性 贪心算法：决策树在构建过程中采用贪心算法，即在每个节点选择最优的特征进行分裂，以局部最优为目标，没有考虑到全局情况。当训练数据中存在噪声时，这种局部最优的选择可能会被噪声误导，导致选择了错误的特征进行分裂，从而使决策树过度拟合噪声数据，生成过于复杂的树结构。 对数据的敏感性：决策树的构建完全依赖于训练数据，每个节点的分裂都是基于训练数据中的特征值和类别分布。如果训练数据中存在噪声，例如患者误填症状，这些错误信息会直接影响决策树的生长。因为决策树会试图去拟合训练数据中的所有信息，包括噪声，从而导致模型对噪声数据过度适应，在测试数据上表现不佳。 缺乏数据平滑机制：决策树在分类时，对于每个叶节点中的样本，会将其完全归为该叶节点所代表的类别，没有考虑到样本之间的相似性和连续性。当噪声数据存在时，这种硬分类方式会使决策树对噪声数据过于敏感，无法有效地平滑掉噪声的影响，导致模型的泛化能力下降。 随机森林缓解该问题的方式 特征随机选择：随机森林在构建每棵决策树时，不是使用全部的特征，而是随机选择一部分特征来进行节点分裂。这样做的好处是，即使训练数据中存在噪声，由于每次选择的特征子集不同，使得每棵决策树受到噪声的影响也不同。不同的决策树会学习到不同的特征组合，从而降低了某个噪声特征对整体模型的影响。通过这种方式，随机森林能够避免决策树过度依赖某些可能被噪声污染的特征，提高了模型的稳定性和泛化能力。 多数投票机制：随机森林通过集成多棵决策树的预测结果，并采用多数投票机制来确定最终的分类结果。由于每棵决策树是基于不同的训练数据子集和特征子集构建的，它们对噪声数据的敏感度不同，因此预测结果也会有所差异。当进行多数投票时，那些由噪声导致的错误预测会被其他正确的预测所抵消，使得最终的预测结果更加稳定和准确。多数投票机制能够综合多棵决策树的信息，减少了单棵决策树因噪声而产生的偏差，从而提高了模型在面对噪声数据时的鲁棒性。

1.动手实践：绘制“假期运动选择”决策树

决策树说明

• 根节点：天气情况（理由：天气直接影响运动的可行性和类型，如雨天无法户外运动）
• 内部节点：年龄、体重指数、运动时长
• 叶子节点：跳绳、游泳、羽毛球

决策树结构

• 根节点：天气情况
  • 晴天：
    • 年龄 < 18岁：
      • 运动时长 > 1小时 → 跳绳
      • 运动时长 ≤ 1小时 → 羽毛球
    • 年龄 ≥ 18岁 → 游泳
  • 雨天：
    • 体重指数 < 24 → 跳绳
    • 体重指数 ≥ 24 → 室内健身

2.问题二

① 决策树容易受噪声数据影响的特性

• 对数据敏感：决策树会尝试拟合所有训练数据，包括噪声点。
• 高方差：微小的数据变化可能导致树结构大幅改变。
• 贪心算法：每次分裂仅基于局部最优，易陷入过拟合。

② 随机森林如何缓解噪声问题

• 特征随机选择：每棵树仅使用部分特征分裂，降低单个特征噪声的影响。
• 多数投票机制：多棵树共同决策，减少单一树因噪声导致的错误分类。

决策树：

根节点：天气情况
├── 晴天
│   ├── 运动时长 < 1小时 → 跳绳
│   └── 运动时长 ≥ 1小时 → 羽毛球
├── 阴天
│   ├── 年龄 < 18岁 → 跑步
│   └── 年龄 ≥ 18岁 → 游泳
└── 雨天
    ├── 设施投入低 → 室内瑜伽
    └── 设施投入高 → 健身房健身

叶子节点运动项目：

1. 晴天 + 运动时长 < 1小时 → 跳绳
2. 晴天 + 运动时长 ≥ 1小时 → 羽毛球
3. 阴天 + 年龄 < 18岁 → 跑步
4. 阴天 + 年龄 ≥ 18岁 → 游泳
5. 雨天 + 设施投入低 → 室内瑜伽
6. 雨天 + 设施投入高 → 健身房健身

随机森林的改进与决策树的局限性

① 决策树容易受到噪声数据影响的原因：

• 单一路径依赖性强：决策树在训练过程中会根据特定特征进行分裂，如果训练数据中存在噪声（如患者误填症状），可能会导致模型过度适应这些错误数据。
• 缺乏鲁棒性：决策树在分裂时倾向于选择局部最优解，这可能导致模型对某些异常值或噪声过于敏感。
• 过拟合风险高：当数据集中存在大量无关特征或噪声时，决策树可能会生成过于复杂的分支，从而无法很好地泛化到测试数据。

② 随机森林如何缓解这一问题：

1. 特征随机选择：
   随机森林通过在每棵树的分裂过程中随机选择部分特征，而不是使用所有特征。这样可以减少单一特征对模型的影响，降低噪声数据对最终结果的干扰。

2. 多数投票机制：
   随机森林由多棵决策树组成，每棵树独立训练并投票决定最终预测结果。由于噪声数据通常只会影响少数几棵树，而不会影响整体森林的预测，因此这种机制能够有效平滑噪声的影响。

3. 集成学习的优势：
   通过集成多个决策树的结果，随机森林能够更好地捕捉数据的整体模式，避免因单个树的偏差而导致的错误预测。

1.根节点（天气情况） ├── 晴天 │ ├── 年龄 > 18岁 │ │ ├── 运动时长 > 1小时 → 羽毛球 │ │ └── 运动时长 ≤ 1小时 → 跑步 │ └── 年龄 ≤ 18岁 → 跳绳 ├── 雨天 │ ├── 设施投入高 → 游泳 │ └── 设施投入低 → 健身操 └── 多云 ├── 体重指数 > 25 → 室内瑜伽 └── 体重指数 ≤ 25 → 户外骑行

2.①过拟合特性；单一路径依赖；缺乏鲁棒性 ② a.特征随机选择： 在构建每棵决策树时，随机森林会从所有特征中随机选取一部分特征进行分裂。这种随机性减少了噪声数据对单一特征的影响。 例如，在医疗诊断中，即使某些患者的症状被误填，随机森林仍能通过其他特征生成可靠的分类结果。 b.多数投票机制： 随机森林由多棵决策树组成，最终的分类结果是通过“多数投票”决定的。即使部分决策树因噪声数据产生了错误预测，其他树的正确预测能够抵消这些错误。 这种集成学习方法显著提高了模型的鲁棒性和泛化能力。

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。

要求： ①根节点需选择对运动类型影响最大的条件（如天气情况），并说明选择理由。 ②至少包含3层节点（根节点、内部节点、叶子节点）。 ③叶子节点需明确最终推荐的运动项目（如“跳绳”“游泳”“羽毛球”等）。

2. 决策树结构3.

天气情况（根节点） ├── 晴天 │ ├── 年龄<18岁 │ │ ├── 体重指数正常：户外跑步/球类运动 │ │ └── 体重指数偏高：游泳/骑自行车 │ └── 年龄≥18岁
│ ├── 时间>2小时：登山/骑行 │ └── 时间≤2小时：散步/健身 ├── 阴天 │ ├── 设施投入低：室内瑜伽/健身操 │ └── 设施投入高：健身房锻炼 └── 雨天 ├── 室内空间充足：羽毛球/乒乓球 └── 室内空间有限：居家健身/瑜伽

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。

讨论： ①决策树的哪些特性使其容易受到噪声数据的影响？

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

1. 决策树易受噪声影响的原因：

• 贪婪特性：决策树采用自顶向下的贪婪算法，每次分裂都选择当前最优特征，容易被异常数据误导
• 数据敏感性：单个样本的错误标签可能显著改变分裂点的选择
• 过拟合倾向：容易过分关注训练数据中的细节和噪声，导致泛化能力差
• 缺乏平滑机制：预测结果完全依赖于特定路径，对数据变化缺乏容错性

2. 随机森林的改进措施：

特征随机选择：

• 每次分裂只考虑部分特征的子集
• 减少相关性强的特征对模型的影响
• 增加模型的多样性

多数投票机制：

• 多棵树共同决策，降低单棵树的影响
• 平滑了噪声数据带来的波动
• 通过集成多个弱分类器形成强分类器

3. 综合效果：

• 误差相互抵消：不同树的错误判断在投票过程中会被纠正
• 抗噪能力增强：需要多数树都受到影响才会改变最终结果
• 泛化性能提升：多样性的引入使模型更能适应新数据

这种设计特别适合医疗诊断等对准确性要求较高的场景。

开始 | |--> 年龄 < 18岁? | | | |--> 是 --> 推荐：户外活动（如跑步、骑自行车） | | 天气晴朗？ --> 是 --> 户外跑步/骑自行车 | | --> 否 --> 室内跳绳或健身操 | | |--> 否 --> 进入下一步 | |--> BMI > 25? | | | |--> 是 --> 推荐：低冲击有氧运动 | | 设施投入高？ --> 是 --> 健身房器械训练（如椭圆机） | | --> 否 --> 快走或游泳 | | |--> 否 --> 进入下一步 | |--> 天气情况？ | | | |--> 晴天 --> 推荐：户外运动（如慢跑、羽毛球） | | 运动时长 > 1小时？ --> 是 --> 羽毛球/篮球 | | --> 否 --> 慢跑 | | |--> 阴天/雨天 --> 推荐：室内运动 | 设施投入高？ --> 是 --> 健身房锻炼（如瑜伽、动感单车） | --> 否 --> 在家做HIIT或瑜伽 | 结束

### 解释
1. **年龄**：根据年龄的不同，推荐的运动类型会有所差异。青少年更适合活泼的户外活动，而成年人可能需要更注重健康和针对性的运动。
2. **体重指数（BMI）**：如果BMI较高，建议选择低冲击的运动方式，避免对关节造成过大压力。
3. **天气情况**：晴天适合户外运动，而阴天或雨天则更适合室内活动。
4. **运动时长**：短时间运动可以选择强度较低的活动，而长时间运动可以考虑更有挑战性的项目。
5. **设施投入**：如果有条件进入健身房，可以利用专业设备进行锻炼；如果没有条件，则可以选择低成本的家庭运动方式。

根节点选择及理由 根节点选择“天气情况”，因为天气对户外运动的可行性影响最大。

内部节点条件 第二层节点选择“年龄”，因为不同年龄段适合的运动类型存在显著差异。 第三层节点选择“设施投入”，因为是否具备相关设施决定了具体运动的实际可操作性。

叶子节点推荐 根据上述条件，最终推荐具体的运动项目，

根节点：天气情况

    分支 1：天气晴朗
        内部节点：年龄
            分支 1：年龄 <= 30 岁
                内部节点：体重指数（BMI）
                    分支 1：BMI <= 25
                        内部节点：运动时长
                            分支 1：运动时长 >= 1 小时
                                叶子节点：游泳
                            分支 2：运动时长 < 1 小时
                                叶子节点：羽毛球
                    分支 2：BMI > 25
                        内部节点：设施投入
                            分支 1：设施投入高
                                叶子节点：健身
                            分支 2：设施投入低
                                叶子节点：跳绳
            分支 2：年龄 > 30 岁
                内部节点：运动时长
                    分支 1：运动时长 >= 1 小时
                        叶子节点：慢跑
                    分支 2：运动时长 < 1 小时
                        叶子节点：散步
    分支 2：天气不晴朗（下雨、下雪等）
        内部节点：设施投入
            分支 1：设施投入高
                内部节点：体重指数（BMI）
                    分支 1：BMI <= 25
                        叶子节点：瑜伽
                    分支 2：BMI > 25
                        叶子节点：室内健身操
            分支 2：设施投入低
                内部节点：年龄
                    分支 1：年龄 <= 30 岁
                        叶子节点：俯卧撑、仰卧起坐组合
                    分支 2：年龄 > 30 岁
                        叶子节点：拉伸运动

决策树的哪些特性使其容易受到噪声数据的影响：

决策树是一种基于规则的算法，它在构建过程中是通过不断地划分特征来生成树结构。一旦在某个节点上因为噪声数据做出了错误的划分决策，那么这个错误会沿着树的分支传递下去，导致后续的划分也可能出现偏差

随机森林通过 “特征随机选择” 和 “多数投票机制” 如何缓解这一问题：

特征随机选择：在构建每棵决策树时，随机森林并不是使用所有的特征，而是随机选择一部分特征来进行节点的划分
多数投票机制：随机森林是由多棵决策树组成的集成模型，最终的预测结果是通过多数投票（对于分类问题）或平均（对于回归问题）来确定的

1. 绘制“假期运动选择”决策树

决策树结构

根据题目要求，以下是“假期运动选择”的简单决策树：

根节点：天气情况

• 理由：天气情况对运动类型的选择影响最大。比如，晴天适合户外运动，而雨天则更适合室内活动。

根节点（天气情况）
├── 晴天
│   ├── BMI < 24（体重指数正常）
│   │   ├── 运动时长 > 1小时 → 推荐羽毛球
│   │   └── 运动时长 ≤ 1小时 → 推荐慢跑
│   └── BMI ≥ 24（体重指数偏高）
│       ├── 设施投入低 → 推荐跳绳
│       └── 设施投入高 → 推荐游泳
└── 雨天
    ├── 年龄 < 18 → 推荐室内篮球
    └── 年龄 ≥ 18 → 推荐瑜伽

解释

• 根节点：天气情况是影响运动选择的最关键因素，因此作为根节点。
• 内部节点：根据不同的天气情况，进一步细分条件，如BMI、运动时长、设施投入等。
• 叶子节点：明确推荐具体的运动项目，帮助用户快速做出决策。

2. 随机森林的改进与决策树的局限性

讨论①：决策树的哪些特性使其容易受到噪声数据的影响？

1. 贪心算法的分裂方式：
   决策树在构建过程中，每次分裂都试图找到当前最优的特征和阈值。然而，这种局部最优策略可能导致模型对训练数据中的噪声过于敏感。例如，患者误填的症状可能误导模型选择错误的分裂条件。

2. 不稳定性：
   决策树对训练数据的变化非常敏感。即使是微小的数据扰动（如噪声或异常值），也可能导致完全不同的树结构。这使得模型容易过拟合，尤其是在数据量较小的情况下。

3. 缺乏泛化能力：
   决策树倾向于精确拟合训练数据，但忽略了数据的整体分布规律。这可能导致模型在面对未见过的数据时表现不佳。

讨论②：随机森林如何缓解这一问题？

随机森林是一种基于决策树的集成学习方法，通过以下两种机制有效缓解噪声数据的影响：

1. 特征随机选择：
   在构建每棵决策树时，随机森林只从所有特征中随机选取一部分特征进行分裂。这种方法减少了单个特征对模型的过度依赖，从而降低了噪声数据的影响。例如，如果某个患者的症状被误填，其错误信息不会在所有树中产生一致的偏差。

2. 多数投票机制：
   随机森林由多棵决策树组成，最终预测结果是通过“多数投票”或“平均预测”得出的。即使某些树因为噪声数据产生了错误的预测，其他树仍可以提供正确的预测，从而降低整体误差。例如，在医疗诊断场景中，某棵树可能因噪声数据错误分类了患者，但其他树的正确分类会抵消这一偏差。

总结

随机森林通过引入多样性和集体智慧的方式，有效缓解了单一决策树对噪声数据的敏感性。相比单一决策树，随机森林具有更高的稳定性和泛化能力，特别适用于复杂场景（如医疗诊断）中存在噪声数据的情况。

1.动手实践：绘制“假期运动选择”决策树 根据“假期运动选择”场景（年龄、体重指数、天气情况、运动时长、设施投入等条件），尝试绘制一个简单的决策树。

要求： ①根节点需选择对运动类型影响最大的条件（如天气情况），并说明选择理由。

②至少包含3层节点（根节点、内部节点、叶子节点）。

③叶子节点需明确最终推荐的运动项目（如“跳绳”“游泳”“羽毛球”等）。

1. 晴天

   • 第二层节点：运动时长
     • 短时间（≤30分钟） → 叶子节点：跳绳
       （理由：跳绳是一种高效的短时高强度运动，适合在晴天快速锻炼。）
     • 长时间（>30分钟） → 叶子节点：跑步
       （理由：晴天适合长时间的有氧运动，如慢跑或长跑。）

2. 雨天

   • 第二层节点：设施投入
     • 低投入（无器械） → 叶子节点：瑜伽
       （理由：瑜伽不需要复杂的器械，适合在家进行放松和锻炼。）
     • 高投入（有器械） → 叶子节点：动感单车
       （理由：动感单车需要固定设备，适合在雨天进行高强度的室内运动。）

3. 寒冷天气

   • 第二层节点：体重指数（BMI）
     • BMI偏低（<18.5） → 叶子节点：游泳
       （理由：游泳可以帮助增肌和增强体质，适合体重偏轻的人。）
     • BMI正常或偏高（≥18.5） → 叶子节点：羽毛球
       （理由：羽毛球是一项全身运动，适合在室内场馆进行，有助于提高心肺功能。）

原因：‌根节点‌：“天气情况”

‌晴天‌：继续根据年龄进行决策。 ‌阴天‌：推荐室内运动，再根据年龄细分。 ‌雨天‌：直接推荐室内有氧运动。 ‌第二层节点‌（内部节点）：

‌晴天 - 年龄‌：<18岁推荐跳绳，≥18岁推荐游泳。 ‌阴天 - 年龄‌：<18岁推荐羽毛球，≥18岁推荐健身操。 ‌阴天/雨天 - 室内选择‌：阴天可选择健身房或瑜伽，雨天则选择跑步机或动感单车。 ‌第三层节点‌（叶子节点）：

‌跳绳‌：适合晴天且年龄<18岁的青少年，有助于增强心肺功能和协调性。 ‌游泳‌：适合晴天且年龄≥18岁的成年人，全身运动且对关节友好。 ‌羽毛球‌：阴天且年龄<18岁的青少年，室内运动且能锻炼反应速度。 ‌健身操‌：阴天且年龄≥18岁的成年人，室内团体运动，增强心肺功能。 ‌健身房‌：阴天室内选择，提供多种器械训练，适合力量训练。 ‌瑜伽‌：阴天室内选择，增强柔韧性和身心平衡。 ‌跑步机‌：雨天室内有氧运动，模拟户外跑步，适合持续心肺训练。 ‌动感单车‌：雨天室内有氧运动，高效燃烧脂肪，增强下肢力量。

2.随机森林的改进与决策树的局限性 在医疗诊断场景中，决策树可能因训练数据中的噪声（如患者误填症状）导致模型过拟合。

讨论： ①决策树的哪些特性使其容易受到噪声数据的影响？ ‌1. 过拟合倾向：追求局部最优的“完全分割” ‌2. 贪婪分割策略：忽略全局结构的局部最优选择 ‌3. 小样本节点的敏感性：噪声在稀疏数据中被放大 ‌4. 高方差模型特性：对训练数据微小变化敏感

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

‌1. 特征随机选择：降低噪声特征对模型的系统性干扰 ‌2. 多数投票机制：通过群体决策抑制噪声引发的个体偏差 随机森林通过‌特征随机选择分散噪声风险‌，结合‌多数投票机制抑制噪声偏差‌，有效缓解了单棵决策树对噪声数据的敏感性，提升了模型的稳定性和泛化能力‌

1. 动手实践：绘制“假期运动选择”决策树

### 决策树说明
- **根节点**：天气情况（理由：天气直接影响运动的可行性和类型，如雨天无法户外运动）
- **内部节点**：年龄、体重指数、运动时长
- **叶子节点**：跳绳、游泳、羽毛球

### 决策树结构
- 根节点：天气情况
  - 晴天：
    - 年龄 < 18岁：
      - 运动时长 > 1小时 → 跳绳
      - 运动时长 ≤ 1小时 → 羽毛球
    - 年龄 ≥ 18岁 → 游泳
  - 雨天：
    - 体重指数 < 24 → 跳绳
    - 体重指数 ≥ 24 → 室内健身

2. 随机森林的改进与决策树的局限性

### ① 决策树容易受噪声数据影响的特性
- **对数据敏感**：决策树会尝试拟合所有训练数据，包括噪声点。
- **高方差**：微小的数据变化可能导致树结构大幅改变。
- **贪心算法**：每次分裂仅基于局部最优，易陷入过拟合。

### ② 随机森林如何缓解噪声问题
- **特征随机选择**：每棵树仅使用部分特征分裂，降低单个特征噪声的影响。
- **多数投票机制**：多棵树共同决策，减少单一树因噪声导致的错误分类。

使用工具：红旗ai

一

1. **晴天**
   - 第二层节点：运动时长
     - **短时间（≤30分钟）** → 叶子节点：跳绳  
       （理由：跳绳是一种高效的短时高强度运动，适合在晴天快速锻炼。）
     - **长时间（>30分钟）** → 叶子节点：跑步  
       （理由：晴天适合长时间的有氧运动，如慢跑或长跑。）

2. **雨天**
   - 第二层节点：设施投入
     - **低投入（无器械）** → 叶子节点：瑜伽  
       （理由：瑜伽不需要复杂的器械，适合在家进行放松和锻炼。）
     - **高投入（有器械）** → 叶子节点：动感单车  
       （理由：动感单车需要固定设备，适合在雨天进行高强度的室内运动。）

3. **寒冷天气**
   - 第二层节点：体重指数（BMI）
     - **BMI偏低（<18.5）** → 叶子节点：游泳  
       （理由：游泳可以帮助增肌和增强体质，适合体重偏轻的人。）
     - **BMI正常或偏高（≥18.5）** → 叶子节点：羽毛球  
       （理由：羽毛球是一项全身运动，适合在室内场馆进行，有助于提高心肺功能。）

• 二

  - 决策树因其对数据的高度敏感性和容易过拟合的特性，容易受噪声数据影响。
- 随机森林通过**特征随机选择**和**多数投票机制**有效缓解了这一问题：
  - 特征随机选择减少了噪声特征的作用，增强了树的多样性；
  - 多数投票机制通过集成多个树的预测结果，平滑了噪声的影响，提高了模型的鲁棒性和泛化能力。

在医疗诊断场景中，随机森林能够更可靠地处理噪声数据，提供更稳定的预测结果，因此比单棵决策树更适合实际应用。

姓名：尹施钰承 我的决策树 ：

根节点：天气情况
├── 晴天
│   ├── 运动时长 ≤ 1小时 → 跳绳
│   └── 运动时长 > 1小时 → 羽毛球
├── 阴天
│   ├── 年龄 < 18岁 → 跑步
│   └── 年龄 ≥ 18岁 → 健身房锻炼
└── 雨天
    ├── 设施投入低 → 室内瑜伽
    └── 设施投入高 → 游泳

以天气情况为根节点，决定是选择户外还是室内运动内部节点：晴天：根据运动时长进一步细分。 阴天：根据年龄判断适合的运动类型。 雨天：根据设施投入选择合适的室内运动 叶子节点：明确推荐具体运动项目，如跳绳、羽毛球、跑步等 改进与局限性： 在医疗诊断场景中，决策树模型可能面临以下问题：

• 过拟合：由于决策树会尽可能拟合训练数据，当训练数据中存在噪声（如患者误填症状）时，模型可能会捕捉到这些错误信息，导致在测试集上表现不佳。
• 不稳定性：决策树对数据的变化非常敏感，小的数据扰动可能导致生成完全不同的树结构。
• 偏向性：对于类别不平衡的数据集，决策树可能会偏向于多数类，从而影响少数类的预测效果。

2. 随机森林的改进

随机森林是一种基于决策树的集成学习方法，通过以下方式克服单棵决策树的局限性：

• Bagging（自助采样法）：从原始数据集中随机抽取多个子集，每棵决策树使用一个子集进行训练，减少过拟合风险。
• 特征随机选择：在每个节点分裂时，仅随机选择部分特征进行最佳分割，增加模型多样性。
• 多数投票机制：最终结果由多棵树共同决定（分类问题采用多数投票，回归问题采用平均值），降低单棵树的偏差和方差。

①决策树的哪些特性使其容易受到噪声数据的影响？

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

• 决策树容易受到噪声数据影响的原因主要是其对数据的高度敏感性和过拟合倾向。
• 随机森林通过“特征随机选择”和“多数投票机制”有效缓解了这一问题：
• 特征随机选择减少了噪声特征的影响，并增加了模型的多样性。
• 多数投票机制通过集成多棵树的预测结果，降低了噪声点对最终预测的干扰。

根节点：天气情况

• 分支1：晴天
  • 内部节点：年龄
    • 年龄 < 18岁 → 叶子节点：跳绳（适合青少年，简单且不需要复杂设施）
    • 年龄 ≥ 18岁 → 叶子节点：羽毛球（适合成年人，社交性较强）
• 分支2：雨天
  • 内部节点：设施投入
    • 设施投入高 → 叶子节点：游泳（需要泳池等设施）
    • 设施投入低 → 叶子节点：瑜伽（室内运动，低成本）
• 分支3：炎热天气
  • 内部节点：体重指数（BMI）
    • BMI > 25 → 叶子节点：快走（低冲击运动，适合减肥）
    • BMI ≤ 25 → 叶子节点：骑行（耐力锻炼，适合健康体态）

①决策树的哪些特性使其容易受到噪声数据的影响？

1. 高方差（High Variance）： 决策树模型对训练数据非常敏感，尤其是当数据中存在噪声时，模型可能会过度拟合这些噪声，导致在新数据上的泛化能力较差。

2. 贪婪分裂（Greedy Splitting）： 决策树在构建过程中采用贪婪算法，每次分裂都选择当前最优的特征和阈值。如果训练数据中存在错误标注或噪声，这种局部最优的选择可能导致整个树结构偏离真实规律。

3. 过拟合倾向（Overfitting Tendency）： 决策树倾向于完全适应训练数据，包括其中的噪声点。如果没有适当的剪枝策略，树会变得过于复杂，失去对新数据的预测能力。

②随机森林通过“特征随机选择”和“多数投票机制”如何缓解这一问题？

1. 特征随机选择： 在构建每棵决策树时，随机森林会从所有特征中随机选择一个子集进行分裂。这种方法降低了单个噪声特征对模型的影响，因为每个树只依赖部分特征，噪声特征不太可能在所有树中都被选中。

2. 多数投票机制（分类任务）或平均预测（回归任务）： 随机森林通过集成多棵树的结果来做出最终预测：

   • 在分类任务中，采用多数投票机制，即选择得票最多的类别作为最终预测。
   • 在回归任务中，采用平均预测值的方式，即取所有树预测值的平均值作为最终结果。 这种机制使得即使某些树受到噪声数据的影响，它们的误差也会被其他树的正确预测所抵消，从而提高模型的鲁棒性和泛化能力。

3. 样本随机性（Bootstrap Sampling）： 每棵树的训练数据是从原始数据集中通过自助采样法（Bootstrap Sampling）生成的。由于每次采样都有一定的随机性，单个树的误差不会完全一致，进一步增强了模型的稳定性。

```  1.                天气情况
                   /           \
             天气好           天气不好
           /       \         /       \
    运动时长>2h  运动时长<=2h 设施允许 设施不允许
    /     \      /      \    /    \    /    \
跳绳  游泳 羽毛球 乒乓球 室内健身 瑜伽  无合适运动 无合适运动
2.①决策树易受噪声数据影响的特性

    贪心算法构建：决策树在构建过程中采用贪心算法，每次分裂都选择当前看起来最优的特征和划分点。当训练数据中存在噪声时，决策树可能会过度关注这些噪声带来的局部特征，从而构建出过于复杂的树结构。
    缺乏泛化能力：决策树倾向于对训练数据进行精确拟合，当训练数据包含噪声时，决策树会将这些噪声信息也纳入到模型中，导致模型在训练数据上表现良好，但在新数据上的泛化能力较差，即出现过拟合现象。


②随机森林缓解问题的方式

    特征随机选择：随机森林在构建每棵决策树时，不是使用所有的特征，而是随机选择一部分特征。这样可以减少噪声特征对模型的影响，因为即使某些特征包含噪声，由于不是每棵树都使用这些特征，所以噪声的影响会被分散。不同的决策树基于不同的特征子集进行构建，从而使得模型更加健壮。
    多数投票机制：随机森林由多棵决策树组成，在进行预测时，每棵树都会给出一个预测结果，最终的预测结果通过多数投票机制确定。当某棵决策树因为噪声数据而产生错误的预测时，其他决策树的正确预测结果可能会在多数投票中占据优势，从而抵消了这棵错误决策树的影响，提高了模型的整体稳定性和泛化能力。

绘制 “假期运动选择” 决策树

首先，选择天气情况作为根节点。选择理由：天气情况是对运动类型影响非常大的一个因素。例如，如果天气是下雨天，很多户外运动就不太适合进行，而如果是晴天，则户外运动的选择范围会大大增加。所以从天气情况入手可以有效地对运动选择进行初步的分类筛选。 决策树如下：

|-- 晴天
| |-- 运动时长 <= 1 小时
| | |-- 跳绳
| |-- 运动时长 > 1 小时
| | |-- 体重指数（BMI）
| | | |-- BMI <= 25
| | | | |-- 跑步
| | | |-- BMI > 25
| | | | |-- 慢走
|-- 下雨天
| |-- 设施投入 <= 50 元
| | |-- 室内健身操
| |-- 设施投入 > 50 元
| | |-- 游泳

随机森林的改进与决策树的局限性

①决策树的哪些特性使其容易受到噪声数据的影响？
决策树是一种基于规则的模型，它通过对数据进行递归划分来构建树结构。在划分过程中，决策树会尽可能地寻找能够使数据纯度提高的特征和划分点。当训练数据中存在噪声（如患者误填症状）时，决策树可能会过度拟合这些噪声数据。因为决策树的构建过程是贪婪的，它总是选择当前最优的划分方式，而不考虑整体的泛化能力。如果噪声数据恰好导致了某个看似很优的划分，决策树就会沿着这个错误的方向进行构建，从而使得模型在训练数据上表现很好，但在测试数据上表现很差，即出现过拟合现象。
②随机森林通过 “特征随机选择” 和 “多数投票机制” 如何缓解这一问题？
“特征随机选择”：在构建每棵决策树时，随机森林不是使用全部的特征，而是随机选择一部分特征来进行划分。这样即使训练数据中存在噪声，由于每棵树使用的特征子集不同，噪声对每棵树的影响也会不同。有些树可能不会受到噪声的影响，或者受到的影响较小。通过这种方式，减少了噪声对单个决策树的影响，从而提高了整体模型的鲁棒性。
“多数投票机制”：随机森林是由多棵决策树组成的集成模型。在预测时，每棵决策树都会给出自己的预测结果，然后通过多数投票的方式来确定最终的预测结果。由于噪声对每棵树的影响不同，所以个别受到噪声影响较大的决策树的错误预测结果会被其他正确的预测结果所抵消。这样就可以降低噪声数据对最终预测结果的影响，使得随机森林模型能够更准确地对新数据进行预测，缓解了决策树容易过拟合的问题

一、假期运动选择决策树绘制

决策树结构说明

1. 根节点选择及理由
   根节点选择“天气情况”，因为天气对户外运动的可行性影响最大。例如，雨天或酷暑天气会限制某些户外运动的选择，而晴天则提供更多的可能性。

2. 内部节点条件
   第二层节点选择“年龄”，因为不同年龄段适合的运动类型存在显著差异。例如，儿童可能更适合趣味性强的运动，而成年人可以选择更专业的项目。
   第三层节点选择“设施投入”，因为是否具备相关设施决定了具体运动的实际可操作性。

3. 叶子节点推荐
   根据上述条件，最终推荐具体的运动项目，如跳绳、游泳、羽毛球等。

决策树示意图

天气情况
├── 雨天
│   ├── 年龄 <= 18岁 → 跳绳（设施投入低）
│   └── 年龄 > 18岁 → 瑜伽（设施投入中）
├── 晴天
│   ├── 年龄 <= 18岁
│   │   ├── 设施投入低 → 羽毛球
│   │   └── 设施投入高 → 游泳
│   └── 年龄 > 18岁
│       ├── 设施投入低 → 慢跑
│       └── 设施投入高 → 健身房训练
└── 多云
    ├── 年龄 <= 18岁 → 骑自行车（设施投入中）
    └── 年龄 > 18岁 → 登山（设施投入低）

二、随机森林改进与决策树局限性讨论

① 决策树容易受到噪声数据影响的原因

• 单一模型的局限性：决策树基于训练数据构建规则，容易过度拟合训练集中的噪声数据。例如，如果某些患者误填症状（如错误报告“发热”），决策树可能会将该错误特征作为分裂节点的依据，从而导致预测偏差。
• 深度过大问题：决策树在没有适当剪枝的情况下，可能会生成过于复杂的树结构，试图完美匹配训练数据中的所有样本，包括噪声点。
• 对异常值敏感：由于决策树是基于特征值进行分裂的，异常值可能会显著改变分裂点的选择，进而影响整个模型的性能。

② 随机森林如何缓解噪声数据的影响

• 特征随机选择
  随机森林通过在每次分裂时只随机选择一部分特征进行考虑，减少了单个特征（尤其是噪声特征）对模型的影响。这样可以避免单一特征中的噪声主导决策过程。

• 多数投票机制
  随机森林由多个决策树组成，每棵树独立训练并预测结果。最终预测结果通过“多数投票”或“平均值”的方式得出。即使个别树因噪声数据产生错误预测，整体模型仍然能够通过其他树的正确预测抵消噪声的影响，从而提高模型的鲁棒性。

小结

通过随机森林的改进方法，可以在一定程度上缓解决策树对噪声数据的敏感性问题，但同时也需要注意控制树的数量和深度，以避免过高的计算成本。

根节点：天气情况
  ├── 晴天
  │     ├── 年龄 < 18岁
  │     │       ├── BMI > 25 → 游泳
  │     │       └── BMI ≤ 25 → 跑步
  │     └── 年龄 ≥ 18岁
  │             ├── BMI > 25 → 瑜伽
  │             └── BMI ≤ 25 → 羽毛球
  └── 雨天
        ├── 年龄 < 18岁 → 跳绳
        └── 年龄 ≥ 18岁 → 室内健身

决策树的局限性：对噪声数据敏感，容易过拟合，缺乏全局视角。

随机森林的优势：通过特征随机选择和多数投票机制，有效缓解了噪声数据的影响，提高了模型的稳定性和泛化能力。