python中随机森林如何优化

1、随机森林算法决策树涉及从数据集中(利用)贪婪选择选取最佳分割点过程中的每一步。如果不精简(该算法拘七呷憎)，此算法容易使决策树出现高方差。这种高方差(结果)可以通过创建包含测试数据集中(多邗锒凳审个)不同的实例(问题的不同观点)的多重树，接着将实例所有的可能结果结合，这种方法简称为bootstrap聚合或套袋。套袋的局限性在于，它使用相同的贪婪算法来创建每棵树，这意味着在每棵树中可能会选择相同或非常相似的分割点，使得不同的树非常相似(树将被关联)。这反过来又使他们的预测相似，从而缩减了最初寻求的差异。我们可以通过贪婪算法在创建树时在每个分割点评估的特征(行)来限制决策树不同。这被称为随机森林算法。像装袋一样，测试数据集的多个样本在被采集后，接着在每个样本上训练不同的树。不同之处在于在每一点上，拆分是在数据中进行并添加到树中的，且只考虑固定的属性子集。对于分类问题，我们将在本教程中讨论的问题的类型——分割中输入特点数的平方根值对为分割操作考虑的属性个数的限制。num_features_for_split = sqrt(total_input_features)这一小变化的结果是树之间变得更加不同(不关联)，作为结果会有更加多样化的预测，这样的结果往往好于一个单独的树或者单独套袋得到的结果。

3、教程本教程分为2个步骤。计算分割。声纳数据集案例研究。这些步骤为您需要将随机森林算法应用于自己的预测建模问题奠定了基础。

5、2.声省蜞酗涕纳数据集案例研究在本节中，我们将把随机森林算法应用到声纳数据集。该示例假定数据集的CSV副本位于当前工作目录中，文件名为sonar.all-data.csv。首先瑕铆幌约加载数据集，将字符串值转换为数字，并将输出列从字符串转换为0和1的整数值。这可以通过使用帮助器函数load_csv()，str_column_to_float()和str_column_to_int()来加载和预备数据集。我们将使用k-fold交叉验证来估计未知数据的学习模型的性能。这意味着我们将构建和评估k个模型，并将性能估计为平均模型误差。分类准确性将用于评估每个模型。这些工具或是算法在cross_validation_split()，accuracy_metric()和evaluate_algorithm()辅助函数中提供。我们也将使用适合套袋包括辅助功能分类和回归树(CART)算法的实现)test_split(拆分数据集分成组，gini_index()来评估分割点，我们修改get_split()函数中讨论在前一步中，to_terminal()，split()和build_tree()用于创建单个决策树，预测()使用决策树进行预测，subsample()创建训练数据集的子采样，以及bagging_predict()用决策树列表进行预测。开发了一个新的函数名称random_forest()，首先根据训练数据集的子样本创建一个决策树列表，然后使用它们进行预测。正如我们上面所说的，随机森林和袋装决策树之间的关键区别是对树的创建方式中的一个小的改变，这里是在get_split()函数中。