3. 模型选择和评估

• 3.1. 交叉验证：评估估算器的表现
  • 3.1.1. 计算交叉验证的指标
    • 3.1.1.1. cross_validate 函数和多度量评估
    • 3.1.1.2. 通过交叉验证获取预测
  • 3.1.2. 交叉验证迭代器
  • 3.1.3. 交叉验证迭代器–循环遍历数据
    • 3.1.3.1. K 折
    • 3.1.3.2. 重复 K-折交叉验证
    • 3.1.3.3. 留一交叉验证 (LOO)
    • 3.1.3.4. 留 P 交叉验证 (LPO)
    • 3.1.3.5. 随机排列交叉验证 a.k.a. Shuffle & Split
  • 3.1.4. 基于类标签、具有分层的交叉验证迭代器
    • 3.1.4.1. 分层 k 折
    • 3.1.4.2. 分层随机 Split
  • 3.1.5. 用于分组数据的交叉验证迭代器
    • 3.1.5.1. 组 k-fold
    • 3.1.5.2. 留一组交叉验证
    • 3.1.5.3. 留 P 组交叉验证
    • 3.1.5.4. Group Shuffle Split
  • 3.1.6. 预定义的折叠 / 验证集
  • 3.1.7. 交叉验证在时间序列数据中应用
    • 3.1.7.1. 时间序列分割
  • 3.1.8. A note on shuffling
  • 3.1.9. 交叉验证和模型选择
• 3.2. 调整估计器的超参数
  • 3.2.1. 网格追踪法–穷尽的网格搜索
  • 3.2.2. 随机参数优化
  • 3.2.3. 参数搜索技巧
    • 3.2.3.1. 指定目标度量
    • 3.2.3.2. 为评估指定多个指标
    • 3.2.3.3. 复合估计和参数空间
    • 3.2.3.4. 模型选择：开发和评估
    • 3.2.3.5. 并行机制
    • 3.2.3.6. 对故障的鲁棒性
  • 3.2.4. 暴力参数搜索的替代方案
    • 3.2.4.1. 模型特定交叉验证
      • 3.2.4.1.1. sklearn.linear_model.ElasticNetCV
      • 3.2.4.1.2. sklearn.linear_model.LarsCV
      • 3.2.4.1.3. sklearn.linear_model.LassoCV
        • 3.2.4.1.3.1. Examples using sklearn.linear_model.LassoCV
      • 3.2.4.1.4. sklearn.linear_model.LassoLarsCV
        • 3.2.4.1.4.1. Examples using sklearn.linear_model.LassoLarsCV
      • 3.2.4.1.5. sklearn.linear_model.LogisticRegressionCV
      • 3.2.4.1.6. sklearn.linear_model.MultiTaskElasticNetCV
      • 3.2.4.1.7. sklearn.linear_model.MultiTaskLassoCV
      • 3.2.4.1.8. sklearn.linear_model.OrthogonalMatchingPursuitCV
        • 3.2.4.1.8.1. Examples using sklearn.linear_model.OrthogonalMatchingPursuitCV
      • 3.2.4.1.9. sklearn.linear_model.RidgeCV
        • 3.2.4.1.9.1. Examples using sklearn.linear_model.RidgeCV
      • 3.2.4.1.10. sklearn.linear_model.RidgeClassifierCV
    • 3.2.4.2. 信息标准
      • 3.2.4.2.1. sklearn.linear_model.LassoLarsIC
        • 3.2.4.2.1.1. Examples using sklearn.linear_model.LassoLarsIC
    • 3.2.4.3. 出袋估计
      • 3.2.4.3.1. sklearn.ensemble.RandomForestClassifier
        • 3.2.4.3.1.1. Examples using sklearn.ensemble.RandomForestClassifier
      • 3.2.4.3.2. sklearn.ensemble.RandomForestRegressor
        • 3.2.4.3.2.1. Examples using sklearn.ensemble.RandomForestRegressor
      • 3.2.4.3.3. sklearn.ensemble.ExtraTreesClassifier
        • 3.2.4.3.3.1. Examples using sklearn.ensemble.ExtraTreesClassifier
      • 3.2.4.3.4. sklearn.ensemble.ExtraTreesRegressor
        • 3.2.4.3.4.1. Examples using sklearn.ensemble.ExtraTreesRegressor
      • 3.2.4.3.5. sklearn.ensemble.GradientBoostingClassifier
        • 3.2.4.3.5.1. Examples using sklearn.ensemble.GradientBoostingClassifier
      • 3.2.4.3.6. sklearn.ensemble.GradientBoostingRegressor
        • 3.2.4.3.6.1. Examples using sklearn.ensemble.GradientBoostingRegressor
• 3.3. 模型评估: 量化预测的质量
  • 3.3.1. scoring 参数: 定义模型评估规则
    • 3.3.1.1. 常见场景: 预定义值
    • 3.3.1.2. 根据 metric 函数定义您的评分策略
    • 3.3.1.3. 实现自己的记分对象
    • 3.3.1.4. 使用多个指数评估
  • 3.3.2. 分类指标
    • 3.3.2.1. 从二分到多分类和 multilabel
    • 3.3.2.2. 精确度得分
    • 3.3.2.3. Cohen’s kappa
    • 3.3.2.4. 混淆矩阵
    • 3.3.2.5. 分类报告
    • 3.3.2.6. 汉明损失
    • 3.3.2.7. Jaccard 相似系数 score
    • 3.3.2.8. 精准，召回和 F-measures
      • 3.3.2.8.1. 二分类
      • 3.3.2.8.2. 多类和多标签分类
    • 3.3.2.9. Hinge loss
    • 3.3.2.10. Log 损失
    • 3.3.2.11. 马修斯相关系数
    • 3.3.2.12. Receiver operating characteristic (ROC)
    • 3.3.2.13. 零一损失
    • 3.3.2.14. Brier 分数损失
  • 3.3.3. 多标签排名指标
    • 3.3.3.1. 覆盖误差
    • 3.3.3.2. 标签排名平均精度
    • 3.3.3.3. 排序损失
  • 3.3.4. 回归指标
    • 3.3.4.1. 解释方差得分
    • 3.3.4.2. 平均绝对误差
    • 3.3.4.3. 均方误差
    • 3.3.4.4. 均方误差对数
    • 3.3.4.5. 中位绝对误差
    • 3.3.4.6. R² score, 可决系数
  • 3.3.5. 聚类指标
  • 3.3.6. 虚拟估计
• 3.4. 模型持久化
  • 3.4.1. 持久化示例
  • 3.4.2. 安全性和可维护性的局限性
• 3.5. 验证曲线: 绘制分数以评估模型
  • 3.5.1. 验证曲线
  • 3.5.2. 学习曲线